MLOps 领域的出现是为了了解人工智能工业应用的复杂性。
Luis Ceze 是初创公司 OctoML 的联合创始人兼首席执行官,该公司开发自动化机器学习工具,但到目前为止,这种努力都以失败告终。
“将 ML 变成一种常见的做法还为时过早,”Ceze 在通过 Zoom 接受采访时告诉 ZDNet。
“这就是我批评 MLOps 的原因:我们正在为一些定义不明确的东西命名,而有一些定义非常明确的东西,称为 DevOps,这是一个非常明确的将软件投入生产的过程,我 认为我们应该使用它。”
“我个人认为,如果我们做得对,就不需要 ML Ops,”Ceze 说。
“我们可以只使用 DevOps,但为此你需要能够像对待任何其他软件一样对待机器学习模型:它必须是可移植的,它必须是高性能的,并且做所有这些都是 这在机器学习中非常困难,因为模型、硬件、框架和库之间存在紧密的依赖关系。”
Ceze 认为,我们需要的是解决因机器学习堆栈高度分散的特性而产生的依赖关系。
OctoML 正在推动“模型即函数”的概念,指的是 ML 模型。 它声称该方法平滑了跨平台兼容性,并综合了机器学习模型构建和传统软件开发的其他不同开发工作。
OctoML 开始提供开源 Apache TVM 编译器的商业服务版本,这是 Ceze 和其他联合创始人发明的。
周三,该公司宣布扩展其技术,包括解决依赖性的自动化功能等,以及“来自 80 多个部署目标的综合车队的性能和兼容性见解”,其中包括来自 AWS 的无数公共云实例, GCP 和 Azure,并支持来自多个供应商的不同版本的 CPU(x86 和 ARM)、GPU 和 NPU。
Ceze 说:“我们希望有更多的软件工程师能够在没有任何机器学习系统专业知识的情况下在主流硬件上部署模型。”
该代码旨在解决“行业中的一个巨大挑战”,Ceze 说,即“创建模型的成熟度已经提高了很多,所以,现在,很多痛苦正在转移嘿,我有一个模型, 怎么办?”
Ceze 指出,从一个新的机器学习模型开始的平均时间是 12 周,并且所有模型中有一半没有得到部署。
“我们希望将其缩短到数小时,”Ceze 说。
Ceze 说,如果做得好,这项技术应该会产生一类新的程序,称为“智能应用程序”,OctoML 将其定义为“将 ML 模型集成到其功能中的应用程序”。
Ceze 说,这种新型应用程序“正在成为大多数应用程序”,并举例说明了允许背景效果的 Zoom 应用程序,或进行“连续 NLP”或自然语言处理的文字处理器。
“ML 无处不在,它正在成为我们使用的不可或缺的一部分,”Ceze 观察到,“它应该能够非常容易地集成——这就是我们着手解决的问题。”
Ceze 说,MLOps 的最新技术是“让人类工程师了解要运行的硬件平台,选择正确的库,使用 Nvidia 库,比如正确的 Nvidia 编译器原语,并得出他们可以做到的东西 跑步。
“我们将所有这些自动化,”他谈到 OctoML 技术时说。 “得到一个模型,把它变成一个函数,然后调用它,”应该是新的现实,他说。 “你通过 URL 获得一个拥抱脸模型,然后下载该功能。”
该软件的新版本特别努力与 Nvidia 的 Triton 推理服务器软件集成。
Nvidia 在准备好的评论中表示,Triton 的“便携性、多功能性和灵活性使其成为 OctoML 平台的理想伴侣”。
当被问及 OctoML 作为一项业务的潜在市场时,Ceze 指出“DevOps 与 AI 和 ML 基础设施的交集”。 DevOps 是“近千亿美元”,而 AI 和 ML 基础设施是每年数千亿美元的业务。