本文转自:TechVerce
「OpenAl 设计的插件系统是我这辈子见过的最疯狂的系统。如果你要给它写插件,你并不是去写这个插件的程序,你是写一个关于插件的描述,用你的自然语言,然后 GPT 来帮你生成这个插件。」
十年前,当一个人跃跃欲试要给新发布的 iPhone 写APP 的时候,ta必须自己是个非常老练的程序员才行。今天,当你跃跃欲试要给新发布的 GPT 平台写插件,你只要用自然语言描述你希望实现的效果就行了。
OpenAI发布了ChatGPT的插件支持,这些插件是专为语言模型设计的工具,以安全性为核心原则。插件可以帮助ChatGPT访问最新信息、进行计算或使用第三方服务。
插件可以作为语言模型的“眼睛和耳朵”,让它们访问实时、个性化或特定的信息。同时,插件也可以让语言模型在用户明确请求下执行安全、受限的操作,从而提高系统的整体实用性。
1、ChatGPT 插件
我们在 ChatGPT 中实现了插件的初始支持。插件是专门为语言模型设计的工具,安全是其核心原则,帮助 ChatGPT 访问最新的信息、运行计算或使用第三方服务。
根据我们的迭代部署哲学,我们正在ChatGPT中逐步推出插件,以便我们可以研究它们的实际使用、影响以及安全和对齐挑战——这些都是我们必须正确处理才能实现我们的使命的。自从我们推出ChatGPT以来,用户一直在要求插件(许多开发人员正在尝试类似的想法),因为它们解锁了广泛的可能用例。我们从一小部分用户开始,计划在学到更多知识后逐步推出规模更大的访问(针对插件开发人员、ChatGPT用户以及经过Alpha测试后希望将插件集成到其产品中的API用户)。我们很高兴建立一个社区,塑造人类与AI交互范式的未来。已被邀请离开我们的等待列表的插件开发人员可以使用我们的文档来为ChatGPT构建插件,然后在向语言模型显示的提示中列出启用的插件,以及指导模型如何使用每个插件的文档。第一个插件由Expedia、FiscalNote、Instacart、KAYAK、Klarna、Milo、OpenTable、Shopify、Slack、Speak、Wolfram和Zapier创建。
我们还自己托管了两个插件,一个网页浏览器和一个代码解释器。我们还开源了一个知识库检索插件的代码检索插件,可以由任何希望增强ChatGPT信息的开发人员进行自我托管。
今天,我们将开始向我们的等待列表中的用户和开发人员扩展插件alpha访问。虽然我们最初会优先考虑少数开发人员和ChatGPT Plus用户,但我们计划随着时间的推移推出更大规模的访问。
2、安全和更广泛的影响
将语言模型连接到外部工具引入了新的机会,同时也带来了显著的 风险。
插件提供了解决与大型语言模型相关的各种挑战的潜力,包括“幻想”、“跟上最新事件”的问题以及访问(经过许可的)专有信息来源。通过将明确的访问外部数据集成到语言模型中,例如最新的在线信息、基于代码的计算或自定义的插件检索信息,语言模型可以通过基于证据的参考加强其响应。
这些参考不仅增强了模型的效用,还使用户能够评估模型输出的可信度并双重检查其准确性,潜在地缓解了与过度依赖相关的风险,正如我们最近的GPT-4 系统卡中所讨论的那样。最后,插件的价值可能远不止于解决现有限制问题,还可帮助用户应对各种新用例,从浏览产品目录到预订航班或订购食品等。
同时,插件可能会增加安全挑战,采取有害或意外的行动,增加坏人欺诈、误导或滥用他人的能力。通过增加可能的应用范围,插件可能会增加模型在新领域中采取的错误或不对齐操作的负面后果的风险。从第一天开始,这些因素就指导着我们插件平台的开发,并实施了几项保障措施。
从第一天开始,这些因素就指导着我们插件平台的开发,并实施了几项保障措施。
我们进行了红色团队演习,既在内部进行,也与外部合作伙伴进行,发现了许多可能存在的令人担忧的情况。例如,我们的红色团队发现如果插件没有保障就会执行复杂的提示注入、发送欺诈和垃圾邮件、绕过安全限制或滥用发送到插件的信息。我们正在使用这些发现来制定安全设计减轻风险的措施,以限制插件风险行为并改善其在用户体验中的操作方式和时间。我们还使用这些发现来指导我们逐步部署插件访问的决策。
如果您是一位对研究这一领域的安全风险或减轻措施感兴趣的研究人员,我们鼓励您利用我们的 研究人员接入计划。我们还邀请开发人员和研究人员作为我们最近开源的 Evals框架 的一部分提交插件相关的安全和能力评估。
插件可能会产生广泛的社会影响。例如,我们最近发布的工作论文发现,具有工具访问能力的语言模型可能比没有此能力的模型具有更大的经济影响力,更一般地,与 其他 研究人员的发现一致,我们预计当前AI技术的浪潮将对工作变革、转移和创造的速度产生巨大影响。我们渴望与外部研究人员和我们的客户合作研究这些影响。
3、浏览Alpha
一种实验性模型,能够知道何时以及如何浏览互联网
受过去的工作的启发允许语言模型严格从互联网上读取信息扩大了他们可以讨论的内容量,超越了训练语料库,获得来自当下的新鲜信息。
以下是浏览为ChatGPT用户打开的体验类型的示例,以前模型会礼貌地指出其训练数据不包含足够的信息以让其回答。在这个示例中,ChatGPT检索有关最新奥斯卡奖的最新信息,然后执行现在熟悉的ChatGPT诗歌壮举,这是浏览可以是一种增量体验的方式之一。
除了为最终用户提供明显的效用外,我们认为使语言和聊天模型进行彻底和可解释的研究对于可扩展的对齐具有令人兴奋的前景。
4、安全考虑
我们创建了一个网络浏览插件,使语言模型能够访问网络浏览器,其设计优先考虑安全和成为网络的良好公民。插件的基于文本的网络浏览器仅限于进行GET请求,这减少了(但并未消除)某些类别的安全风险。这将浏览插件的范围限定为有用于检索信息,但排除了具有更多安全问题和安全问题可能性更大的“事务性”操作,如表单提交等。
浏览使用Bing搜索API从网络检索内容。因此,我们从Microsoft继承了大量工作,包括(1)信息来源的可靠性和真实性以及(2)“安全模式”以防止检索问题内容。该插件在一个隔离的服务中运行,因此ChatGPT的浏览活动与我们基础架构的其余部分分离。
为了尊重内容创作者并遵守网络规范,我们的浏览器插件的用户代理标记为[ChatGPT-User](https://openai.com/bot),并配置为遵守网站的robots.txt文件。这可能偶尔会导致“点击失败”消息,这表示插件正在遵守网站的指令,以避免爬取它。此用户代理仅用于代表ChatGPT用户采取直接行动,不用于以任何自动方式爬取网络。我们还发布了我们的IP出口范围。此外,已实施速率限制措施,以避免向网站发送过多流量。
我们的浏览插件可以显示访问的网站并在 ChatGPT 的回答中引用其来源。这种额外的透明度层帮助用户验证模型回答的准确性,同时也向内容创作者归功。我们感谢这是一种与网络互动的新方法,并欢迎有关如何将流量带回来源并增加生态系统整体健康的反馈。
5、检索
开源检索插件使ChatGPT能够访问个人或组织信息源(需获得许可)。它允许用户通过使用自然语言提出问题或表达需求,从其数据源(例如文件、笔记、电子邮件或公共文档)获取最相关的文档片段。
作为一种开源且自托管的解决方案,开发人员可以部署自己的插件版本,并将其注册到ChatGPT中。该插件利用OpenAI嵌入,并允许开发人员选择一个向量数据库(Milvus、Pinecone、Qdrant、Redis、Weaviate或Zilliz)来索引和搜索文档。信息源可以使用Webhook与数据库同步。
要开始使用,请访问检索插件存储库。
原文链接:https://www.bilibili.com/read/cv22609487/