人工智能计算机制造商 Cerebras Systems 已经制造了芯片和计算机,现在制造致力于加速深度学习的超级计算机,周二宣布了加速超大型语言模型使用的服务,这些模型不仅在研究中而且在研究中越来越受欢迎 也可用于商业用途。
Cerebras 联合创始人兼首席执行官 Andrew Feldman 在新闻发布会上说:“我们认为大型语言模型被炒作不足,而不是被过度炒作。” “我们才刚刚开始看到它们的影响;在生态系统的三个层次中,硬件层、基础设施层和应用层,每一层都会有赢家和新出现者。”
费尔德曼预测,“明年你会看到大型语言模型对经济各个领域的影响全面上升。”
Cerebras 与云计算服务提供商 Cirrascale 合作,提供所谓的“按模型付费”计算时间,这是一种固定费率,用于训练以在其专为深度学习设计的 CS2 计算机集群上融合大型语言模型,例如 OpenAI 的 GPT-3 学习。
另外:2023 年的科技:这才是真正重要的
该服务的品牌名称为 Cerebras AI Model Studio。
价格从在 10 小时内训练 13 亿参数 GPT-3 模型的 2,500 美元到在 85 天内训练 700 亿参数版本的 250 万美元不等,平均是用户支付租金的一半 云容量或租赁机器多年以完成同等工作。 CS2 集群的训练速度是云端 Nvidia A100 机器集群的八倍。
Cirrascale 混合使用 Cerebras 拥有的 CS2 和机器集群,以及 Andromeda 超级计算机,后者位于加利福尼亚州 Colovore 的托管设施中,Cirrascale 也在那里安装了设备。
Studio 的合作伙伴关系遵循 Cerebras 和 Cirrascale 之间的合作伙伴关系,一年前宣布每周在云中提供 CS2 机器。
Feldman 说,该服务将根据语言模型的规模自动调整集群的规模。 该公司强调,训练性能的提高与增加更多机器成线性比例。
费尔德曼说,扩展到最大的集群会导致价格上涨。 例如,Andromeda 的 16 台机器集群是四路 CS2 集群的四倍大,但使用它可能会花费客户五倍的钱,因为它达到了更高的性能水平。
此外:AI 挑战者 Cerebras 组装模块化超级计算机“Andromeda”以加速大型语言模型
费尔德曼说,削减大型模型培训成本最重要的直接好处可能是让无法负担通常所需的巨额租赁费用的各方能够进行大型模型开发。
“我们一次又一次地看到,提前了解定价以及所需的时间对所有客户来说都是真正的问题,我们希望能够克服这些问题,”他说。
费尔德曼说,另一种选择是让公司一次花很多钱租用硬件多年。
Feldman 说:“如果你想一想当今最大模型的训练方式,它们都在租用数年的专用集群上。” “现在有些公司已经筹集了巨额资金并获得了巨大的估值,但他们在最疯狂的梦想中从未拥有过硬件。”
此外:AI 芯片初创公司 Cerebras 以超过 40 亿美元的估值获得 2.5 亿美元的 F 轮融资
同样在周二,Cerebras 宣布其本月早些时候推出的 Andromeda 超级计算机,一个由 16 台 CS2 机器组成的集群,将被 Jasper 使用,Jasper 是一家风险投资支持的初创公司,运行大型语言模型作为业务应用程序的服务,例如生成新闻 发布和博客文章。
Jasper 的生成文本功能拥有近十万付费客户,服务于需要使用特定知识库、产品目录和企业“语音”等客户数据训练大型语言模型的企业。
“他们想要个性化的模特,他们非常想要,”Jasper 的首席执行官 Dave Rogenmoser 在同一场新闻发布会上说。 他说,这个想法是让营销部门“所有人都用同样的声音说话”,并让新员工像公司其他部门一样“用同样的声音说话”。 这包括使用客户的习惯语言生成 Facebook 广告的模型。
Rogenmoser 说,与 Cerebras 合作能够降低训练成本并显着加快大型语言模型的训练时间“对我们来说是一个巨大的吸引力”。
Rogenmoser 表示,Jasper 最近完成了 A 轮融资,对该公司的估值为 15 亿美元。
Cerebras 的产品负责人安迪·霍克 (Andy Hock) 在同一次新闻发布会上表示,使用专用集群不仅速度更快、成本更低,而且效果更佳。
“我们在市场上更广泛地观察到的一件事是,许多公司希望能够快速研发这些大规模模型,但传统云中存在的基础设施并不能使这种大型—— 规模化研究和开发很容易,”霍克说。
“能够提出这样的问题,我应该从头开始训练[一个大型语言模型],还是应该微调一个开源公共检查点,什么是最好的答案,什么是最有效的计算使用 降低商品成本以向我的客户提供最好的服务——在传统基础设施的许多情况下,能够提出这些问题成本高昂且不切实际。”
他说,Cerebras 集群使 Jasper 和其他人能够提出这些问题。
这两项声明都是在本周于新奥尔良举行的第 36 届年度神经信息系统会议 (NeurIPS) 之际发布的,这是人工智能领域的首屈一指的会议。