如果要了解微软的话,那就是:微软是一家平台公司。 它的存在是为了提供任何人都可以构建的工具和服务,从操作系统和开发人员工具到生产力套件和服务,再到全球云。 因此,当雷德蒙德宣布“从产品转向平台”时,我们不应该感到惊讶。
最新的此类公告是针对基于 Bing GPT 的新聊天服务。 将搜索与人工智能相结合,使 Bing 能够提供基于 Bing 索引和 OpenAI 的 GPT-4 文本生成和摘要技术的对话式搜索环境。
您的查询将通过带有相关链接的简短文本摘要来回答,而不是浏览页面和内容列表,并且您可以使用 Bing 的聊天工具来完善您的答案。 这种方法让 Bing 回到了最初的营销点之一:帮助你做出决策,就像搜索内容一样。
ChatGPT 最近添加了插件,将其扩展到更集中的服务; 作为微软将人工智能添加到 Bing 的进化方法的一部分,它很快也会这样做。 但是,仍然存在一个问题:它将如何运作? 幸运的是,微软众多开源项目之一的形式中存在着一条重要线索。
语义内核:微软如何扩展 GPT
Microsoft 一直在开发一套名为 Semantic Kernel 的工具,用于使用其 Azure OpenAI GPT 服务。 它旨在通过向模型添加您自己的嵌入来提供超出初始训练集的基于 GPT 的自定义应用程序。 同时,您可以使用传统代码包装这些新的语义功能来构建 AI 技能,例如精炼输入、管理提示以及过滤和格式化输出。
虽然 Bing 的 AI 插件模型的细节要到 5 月底的微软 BUILD 开发者大会上才会公布,但它很可能是基于 Semantic Kernel AI 技能模型的。
它旨在与 OpenAI 的应用程序编程接口配合使用并围绕 OpenAI 的应用程序编程接口工作,为开发人员提供了必要的工具来管理提示之间的上下文、添加自己的数据源以提供定制、将输入和输出链接到有助于优化和格式化输出的代码,以及将它们链接到其他服务。
使用 Bing 构建消费者人工智能产品非常有意义。 当你深入研究底层技术时,GPT 的人工智能服务和 Bing 的搜索引擎都利用了一项相对鲜为人知的技术:矢量数据库。 这些为 GPT 转换器提供了所谓的“语义记忆”,帮助它找到提示与其生成人工智能之间的联系。
矢量数据库将内容存储在一个空间中,该空间的维度可以与数据的复杂性一样多。 称为“嵌入”的过程不是将数据存储在表中,而是将其映射到数据库空间中具有长度和方向的向量。 这样可以轻松找到相似的内容,无论是文本还是图像; 您的代码需要做的就是找到一个与初始查询大小和方向相同的向量。 它速度很快,并且为搜索增添了一定的偶然性。
赋予 GPT 语义记忆
GPT 使用向量来扩展您的提示,生成与您的输入类似的文本。 Bing 使用它们对信息进行分组,通过查找彼此相似的网页来加快查找您要查找的信息。 当您将嵌入式数据源添加到 GPT 聊天服务时,您向其提供可用于响应您的提示的信息,然后可以以文本形式传递这些信息。
将嵌入与 Bing 数据一起使用的优点之一是您可以使用它们将自己的长文本添加到服务中,例如处理您自己组织内的文档。 例如,通过将关键文档的向量嵌入作为查询的一部分,您可以使用搜索和聊天来创建常用文档,其中包含来自搜索甚至来自您可能已添加到环境中的其他 Bing 插件的数据。
提供 Bing 聊天技能
您可以在最新的 Bing 版本中看到类似于公共语义内核的迹象,因为它添加了采用 GPT 生成和处理的数据并将其转换为图形和表格的功能,从而帮助可视化结果。 通过提供返回值列表的 GPT 提示,后处理代码可以快速将其文本输出转换为图形。
由于 Bing 是一个通用搜索引擎,添加链接到更专业的数据源的新技能将使您能够进行更专业的搜索(例如,使用医学论文存储库)。 由于技能可以让您将 Bing 结果连接到外部服务,您可以轻松想象一组聊天交互,首先帮助您找到适合特殊场合的餐厅,然后预订您选择的地点 – 所有这些都无需留下搜索。
通过为与 GPT-4 的私人和公共交互提供一个框架,并添加对会话之间持久性的支持,结果应该是一个比传统搜索应用程序更加自然的框架。
通过插件将该模型扩展到其他数据源和其他服务,可以提供微软十多年来一直承诺的自然语言驱动的计算环境。 通过将其打造成一个平台,微软确保它仍然是一个开放的环境,您可以在其中构建所需的工具,而不必依赖微软提供的工具。
微软正在将其 Copilot 品牌用于所有基于人工智能的助手,从 GitHub 的基于 GPT 的工具到 Microsoft 365 和 Power Platform 中的新功能。 希望它将继续在所有平台上以相同的方式扩展 GPT,这样我们就可以将我们的插件引入到不仅仅是 Bing 上,使用相同的编程模型来跨越传统代码与生成式 AI 提示和语义记忆之间的鸿沟。