在人工智能的最后一次大热潮中，在 70 年代末和 80 年代，一种流行的方法被称为专家系统，包含基于人类知识输入计算机的任务规则的程序。
专家系统最终失败了，因为它们都被证明太难编纂——专家真正能表达他们所知道的是什么？ — 而且构建和维护起来也太费力了。 换句话说，他们没有扩展。
周三，总部位于旧金山的成立三年的人工智能初创公司 Snorkel 推出了一种工具，正如他们所说，在开发神经网络时，将人类领域的专家带回了驾驶座。 网络。
Snorkel 的以数据为中心的基础模型开发，正如该产品的名称，是对初创公司旗舰 Snorkel Flow 程序的增强。 这些新功能让公司可以编写函数，使用所谓的基础模型自动创建标记的训练数据，这是现有最大的神经网络，例如 OpenAI 的 GPT-3。
Snorkel Flow 中的新功能让领域专家而非程序员创建一个工作流，然后自动生成标记数据集，这些数据集可用于为特定任务训练基础程序。
Snorkel 联合创始人兼首席执行官亚历克斯拉特纳在通过 zoom 接受 ZDNET 采访时表示：“我们很高兴能够提高非开发人员的技能并赋予主题专家权力，从而能够推动更多的人工智能制造过程” .
Ratner 说：“这些人拥有领域知识，而且他们经常被孤立地手工标记数据。” “我们希望他们坐在他们应该坐在的地方，我们认为他们需要的地方，坐在驾驶座上，与数据科学家共同驾驶或独自领导。”
GPT-3 以及 OpenAI 的 Dall•E 2 和谷歌的 RoBERTa 等基础模型越来越流行，因为它们能够生成文本和图像，然后可以将其应用于自动化客户服务机器人等广泛的企业任务 到创建公司文档到创建股票摄影。
基础模型是数据大户。 GPT-3 由 Open-AI 在 2020 年使用流行的 CommonCrawl 数据集从 2016 年到 2019 年的网页进行了训练，其中包含 45TB 的压缩文本数据。 OpenAI 必须将其管理到可管理的 570GB 数据。 对于大多数公司来说，训练这样的模型是望而却步的。
一些基础模型，例如 GPT-3，可以作为云服务访问，这减轻了希望使用它们的企业的一些负担。 公司可以租用模型并进行一些调整以适应他们的用例。
但是为了有效地使用基础模型，公司仍然必须根据特定用例调整模型的功能，例如法律或营销，这就是所谓的“微调”模型。 捕获必要的领域知识可能需要数十 GB 的新数据，以及适当的标签、含义和程序提示。
拉特纳说，“企业对深度学习 AI 总是存在这种幻灭的问题，并且感觉，嘿，我们对 AI 的重视程度太低了，开源中有这么多 世界，我们的企业组织内部有那么多东西，为什么我们不快点行动呢？”
他说，公司行动不快的原因往往与那堆数据有关。
另外：“软件中正在发生奇怪的新事物，”斯坦福人工智能教授 Chris Re 说
“一直都是，数据呢？” 拉特纳说。 特别是，这些模型所依赖的标记训练数据，甚至在基础模型时代仍然依赖，以针对特定用例进行调整和微调，尤其是我们看到的企业中复杂的高性能数据 我们的顾客。”
Snorkel 的 Snorkel Flow 软件是一项商业成果，源于 Ratner 和其他研究人员于 2015 年开始在斯坦福大学人工智能实验室进行的开源学术研究。 这项工作促成了与谷歌研究人员共同开发的项目 Snorkel Drybell，拉特纳称该项目在谷歌内部产生了“巨大影响”。
Drybell 程序提供了一种构建规则的方法，这些规则随后会自动为数据生成标签，从而为人们标记每条数据节省了大量的手动工作。
在此过程中，Ratner 观察到实施规则引擎真的很困难。
“花了 6 到 9 个月的时间来确定围绕它的工作流程，然后才能部署它，”Ratner 回忆起 Drybell 计划时说。 “那是一个灵光一现的时刻，”他说。
他说，Drybell 是“几个例子之一，它展示了在现实世界中产生影响的潜力，但也表明必须进行多少工程和优先工作才能弥合这一差距，这是最终分拆公司的一个重要动机 2019年。”
可能需要一个商业包来帮助公司使用这种方法。
Ratner 和他的论文导师 Christopher Re 以及其他三位同事继续在 2019 年成立了这家公司，获得了 Greylock Partners 和 In-Q-Tel 等著名风险投资公司的风险投资。
Re 也是 AI 硬件初创公司 SambaNov Systems 的创始人，还有 Ratner 的另一位顾问、斯坦福大学计算机科学教授 Kunle Olukotun。
借助新的模型开发功能，Snorkel 解决了非常需要数据的程序的问题，并将其转变为头脑。 与其为像 GPT-3 这样的大型程序提供训练数据，不如使用这些模型的生成功能为更小的神经网络生成训练数据，甚至为与神经网络无关的 AI 形式生成训练数据。
“我们开始试验，”Ratner 说，“有了这样的想法，而不是试图找到一个基础模型并将其插入生产，使用基础模型自动标记数据以加速以数据为中心的开发循环，然后寻找 一个不同的可部署模型。”
模型开发套件包含三个组件，可以单独使用或组合使用。 一种是将文本提示与自然语言查询一起使用，这将提示基础模型生成数据标签作为输出。
这些自然语言查询可以是领域专家知道如何表述的内容，例如“这些合同文件是否与商标问题有关？” 然后，该查询成为一种让程序应用标签来确定文档是否与商标相关的文档的方法。 然后，总输出成为标签，用于训练分类器将文档分类为与商标相关或不相关。
模型开发工具的第二个选项是所谓的“热启动”。 基础模型在显示零个或几个示例时自动生成输出的能力——零样本和少样本学习——成为一种自动生成数据标签的机制。
并且，第三个选项，基础模型本身可以通过应用一个较小的数据集来使用，该数据集可以简单地“微调”大型基础模型。
这三种方法背后的想法是，基础模型本身是“构建的基础，但它们并不能神奇地解决你现实世界中的所有问题。”
“你仍然需要在它们之上构建。你必须对它们进行微调，弄清楚如何部署它们，”拉特纳说。
“我们正在以多种方式将基础模型嵌入到该工作流程中以加速它并从根本上弥合差距。”
一些客户已经使用模型开发功能几个月了，他们发现构建机器学习程序所需的时间大大减少了。
此外：AI 挑战者 Cerebras 组装模块化超级计算机“Andromeda”以加速大型语言模型
Ratner 回忆起一个客户的例子，该客户是排名前五的银行，他们希望训练一个人工智能程序从银行文件中提取与反洗钱问题和了解你的客户有关的内容。
该任务涉及扫描 PDF、数百页的文档，“非常复杂，非常定制，”拉特纳说，而且“出于监管原因，对于银行正确提取这些内容非常关键”。
“如果你试图手动构建一个带标签的训练集来训练 ML 进行这些提取，那将需要数月的专家法律时间”，一位人类领域专家说。 Ratner 说，Snorkel Flow 软件能够将时间缩短到几周。
“这种基础模型功能真正令人兴奋的结果实际上是通过使用基础模型热启动然后自动标记数据，将时间缩短到数小时或数天。”
模型开发能力指出了深度学习的一个基本事实，Ratner 说：现在它更多地是关于数据而不是关于特定的神经网络架构，至少从花费最多劳动力的地方来衡量是这样。
他补充说：“就数据科学家为使某事发挥作用所做的平均迭代而言，人工智能正变得更加以数据为中心，而不是以模型为中心。” “数据科学家实际上正在做很多工作，试图标记与改进和迭代数据相关的标签”，而不是修改模型。
Ratner 指出，Snorkel 的客户以前不得不花费六个月或更长时间手工标记数据，然后才能运行单个程序。
使用模型开发套件不需要运行标记任务的人员了解基础模型。 然而，如果有人碰巧对基础模型的细节感兴趣，“我们在幕后有一些好东西，”他指出，例如为基础模型编写自定义提示或提示模板的能力。
通过翻转范式，基础模型可以更有效地帮助更小、要求更低的模型，最终性能更好。
Ratner 说，通过使用基础模型的一般功能，可以“加快对现有和运营基础设施中的这些专业部署模型的培训”。 “你实际上可以获得比大型基础模型小 10,000 倍但在目标任务上更准确的模型。”
Ratner 说，最终程序可能是一个简单的回归模型或 XG Boost 或另一种方法。 这样的模型还有一个额外的优点，即它们不仅更容易在生产中运行，而且比通用的预训练程序（如 GPT-3）更准确，而且它们通常也比众所周知的黑色更易于解释和管理。 一盒大型神经网络。
“这类用例通常有更严格的管理，”了解你的客户等企业应用程序的 Ratner 说。
Ratner 认为，模型开发功能在某些方面对将人类主题专家重新置于核心角色的旧专家系统方法有所帮助。
“你如何将你可以通过规则或启发式表达的专家系统知识，或者现在提示中的一个问题，与这些统计模型的大量泛化能力结合起来？” 是一种思考方式。
“不要让你的主题专家只点击 10,000 个合同，就像你在玩 20,000 个问题一样，”他建议道。 “让他们写下他们的领域知识——同样，以前，我们称之为标签功能，现在我们以提示的形式提供它，这是另一种类型的标签功能。”
人类的努力被用来“引导和训练一个模型，该模型可以概括为现代人类模型非常擅长吸收和识别的模式的长尾。”
