边缘计算正在蓬勃发展。 将计算从数据中心中取出，并使其尽可能靠近数据生成地的想法受到了广泛关注。 边缘计算的增长估计在 40% 的复合年增长率，即 500 亿美元的区域。
无论是独立的物联网传感器、各种设备、无人机还是自动驾驶汽车，都有一个共同点。 边缘生成的数据越来越多地用于提供由机器学习模型支持的应用程序。
TinyML 是一个快速发展的机器学习技术和应用领域，使机器学习能够在边缘工作。 它包括硬件、算法和软件，能够以极低的功耗执行设备上的传感器数据分析，从而支持各种始终在线的用例。
为了让 TinyML 工作，需要硬件和软件的融合，创建一个围绕节俭能源需求概念构建的生态系统。 这是边缘应用程序的先决条件。
今天，以专注于生态系统创建和处理器节俭能源需求而闻名的全球半导体 IP 提供商 Arm 宣布与自动化 TinyML 平台提供商 Neuton 建立合作伙伴关系。 9 月初，另一家为边缘构建 AI 芯片的 Arm 合作伙伴 Alif Semiconductors 发布了新产品线。
ZDNet 采访了 Alif 高级营销经理 Henrik Flodell、Arm 机器学习生态系统和开发人员关系总监 Philip Lewer 以及 Neuton 首席技术官 Blair Newman，他们都是嵌入式领域的经验丰富的专家。 我们讨论了他们各自的产品，以及如何在边缘获得机器学习生态系统。
Arm，构建AI生态
Arm 是生态系统冠军，拥有 1000 多个合作伙伴。 根据 Lewer 的说法，这是该公司能够在全球范围内出货超过 1900 亿个基于其技术的芯片的关键原因。
Arm 芯片无处不在，从云数据中心到笔记本电脑，从可穿戴设备到无人机。 Lewer 将 Arm 的 AI 平台描述为“使 AI 得以实现的技术和合作伙伴关系的集合”。
对于 Arm，基础在硬件层面，其 AI 平台包括从 Arm Cortex CPU 到 Mali GPU 以及 Ethos NPU 和 microNPU 的一切。 Cortex-M 系列是一个非常受欢迎的选择，通常包含在微控制器和其他芯片中。 Arm 的 Ethos-U 处理器系列专门专注于低功耗设备的机器学习推理。
Alif 最近推出的 Ensemble™ 和 Crescendo™ 产品系列也使用了 Arm 的 Cortex-M。 集成芯片针对智能家居产品、电器、销售点、机器人和其他边缘应用。
Alif 成立于 2019 年，Flodell 指出，其动机是“基于最新技术，从头开始开发一个新平台，真正实现无处不在的无线连接和具有 AI 和机器学习功能的边缘处理等功能”。
机器学习加速和多层安全性是 Ensemble 和 Crescendo 共有的关键特性。 Crescendo 系列还提供连接和定位功能，Alif 指出这些功能使其适用于智慧城市、互联基础设施、资产跟踪、医疗保健设备和可穿戴设备应用。
早在 2018 年，Neuton 就宣布了一种神经网络框架，声称其效率远高于市场上的任何其他框架和非神经算法，引起了轰动。
Newman 指出，尽管 Neuton 框架背后的供应商 Bell Integrator 已经存在了 17 年多一点，但大约 6 年前，他们将注意力集中在构建零代码 SaaS 解决方案上。
Newman 补充说，从历史上看，Bell Integrator 一直在利用所有可用的“传统”机器学习框架。 然而，资源稀缺的问题一直难以解决。 构建机器学习模型是一回事，将其部署到生产环境中是另一回事，尤其是在边缘。
Neuton，从头开始构建无代码机器学习模型
Newman 强调了 Neuton 方法的两个方面，这与已建立的机器学习框架背道而驰。 首先，无代码方面，使非数据科学家能够构建模型。 其次，Neuton 的机器学习模型采用的自定义架构：
Newman 说：“一旦这些模型被生产出来，它们就可以立即集成到微控制器中，无需任何交互。我们的客户真正能够在没有任何技术技能的情况下完成将机器学习带到边缘的整个生命周期。”
Neuton 在 2021 年 TinyML EMEA 技术论坛上展示了其构建紧凑和准确模型的方法后，受邀加入 Arm 的合作伙伴生态系统。Arm 合作伙伴生态系统的全部目的是将具有不同功能的公司聚集在一起，Lewer 说。
举个例子，Alif 和 Neuton，Lewer 继续补充道。 Alif 正在以创新的方式利用 Arm 的 Cortex 设计，但用户真正的问题是如何在 Alif 的芯片上部署机器学习模型：
“这真的很重要，特别是对于那些更接近传统编程背景的开发人员来说，弥合这种差距进入机器学习的世界。然后你有像 Neuton 这样的人进来说，好吧，这就是我们适合的地方。如果我们有 满意的客户和满意的合作伙伴，这就是我们衡量成功的方式”。
Arm 是 Alif 的天然合作伙伴； Flodell 对此表示赞同，因为他们拥有出色的 IP 并专注于生态系统支持：“我们知道，一旦人们拿到这些设备，他们将能够使用这些设备提高工作效率”。 弗洛德尔说。
Alif 产品线的功率特性受到了特别关注。 Flodell 解释说，与 Ensemble 等产品相比，具有集成连接功能的芯片（例如 Crescendo 系列）自然会有更高的功率要求。
这一切都取决于您参与网络所消耗的电量，而这正是 Alif 重点优化的部分。 在这方面，他补充说，Alif 的基准测试显示 Crescendo 比具有类似特性的芯片节省 2 到 3 倍，这仅仅意味着应用程序将能够运行更长时间。
Alif，为受限环境构建嵌入式控制器
Newman 总结道，对于部署在边缘的应用程序，电池消耗确实很重要。 Neuton 的方法是“从头开始构建[模型]，一个神经元一个神经元。你只需要构建一次模型，它们就会非常紧凑，而不会影响准确性”。
Neuton 在伙伴关系游戏中相对较新。 然而，Newman 将与 Arm 的合作伙伴关系确定为 Neuton 实现机器学习民主化目标的战略合作伙伴关系。 对于 Lewer 和 Arm 而言，合作伙伴关系是他们战略的关键部分，他们将继续发展这一战略。 Lewer 说，尽管 Arm 有很多合作伙伴，但这并不全是数字问题：
“这实际上是为了让这些合作伙伴关系有效，这意味着向前迈进。我们花了相当多的时间与每个合作伙伴一起，试图了解他们想要去的地方，以便我们找到共同点。”
Flodell 指出，当我们谈论边缘机器学习时，能够在资源受限的环境中工作是关键。 AI 的谱系与数据中心相关，但对于边缘的真实 AI 应用程序，这必须改变：
“当你想要缩小规模并在配置为微控制器的东西中运行时，有时内存甚至不到 1 兆字节，这本身就是一个挑战。
除此之外，人工智能在某些方面与嵌入式系统设计人员经历的传统开发有很大不同。 了解如何调整模型以产生正确的结果仍然更多地属于数据科学家的领域。
能够利用 Arm 的合作伙伴活动来连接像 Neuton 这样的公司应该能够弥合这一差距，使数据科学家和嵌入式开发人员的专业知识融合，并使模型和技术适合受限系统。
这才是真正的挑战。 如果我们能够克服它，它将为采用这项技术打开闸门”。
