大模型边缘计算助力智能家居和工业机器人发展

　　报道 5G、随着物联网时代的快速发展，边缘计算设备的普及得到了极大的推动，ML和AI技术，尤其是生成式AI的浪潮，正在使这些设备更加智能化。

　　边缘AI具有巨大的潜力，有望帮助许多领域的持续智能演变和转型。在这个过程中，Arm架构起着重要的作用。目前，世界上大约有 90% 的 AI 所有的运行都是基于 Arm 架构的 CPU 事实上，这些持续的投资使 Arm 成为世界上最普遍的 AI 一个计算平台，吸引了越来越多的开发者加入。

　　尤其是伴随着 Transformer 发展大模型，AI 模型的普遍性、多模式支持和模型微调效率都有质的突破。此外，低功耗的AI加速器和专用芯片集成到终端设备中，边缘智能越来越独立和强大。

　　Arm最近推出了新一代Ethos。-U AI加速器和全新的物联网参考设计平台，加速边缘推进 AI 发展进程。

　　Ethos-U85 NPU：支持主流AI框架性能提升4倍

　　随着人工智能时代的发展，NPU的重要性日益凸显。Arm Ethos-U NPU系列是业内首款AI微加速器，Arm Ethos-U85是Arm推出的第三代面向边缘AI的产品。

　　与上一代产品相比，Ethos-U85性能提高4倍，能效提高同时，MAC单元可以从128个扩展到20%， 2048 个（在 1GHz 实现计算能力的时候 4TOPs)可以为需要更高性能的应用提供有力的支持，如工厂自动化和商用或智能家居摄像头。

　　马健介绍了Arm物联网业务发展部副总裁，边缘 AI 其重要特点是节约带宽，更安全，减少数据传输，提高响应速度和可靠性，但也面临一些设计挑战，即对能效和成本有严格的限制。因此，在设计中 Ethos-U85 在这个过程中，除了顺应边缘外， AI 除提高性能和能耗外，还对能效和成本进行了优化。

　　此外，Arm Ethos NPU的亮点不仅体现在硬件上，而且在软件工具链的一致性、易用性等方面也有很强的优势。Arm 最新使用的是生态系统合作伙伴。 Ethos-U85 在使用之前，可以使用 Ethos 一系列的工具链，比如 Vela Compiler 以及 ML Evaluation Kit 可以从以前开始推出 Ethos-U55 和 Ethos-U65 延展到 Ethos-U85 其实，为开发者提供一致的无缝开发体验。

　　Ethos-支持TensorFloww的U85的显著特征之一 AI框架，如Lite和PyTorch。关于算子支持，Ethos-Transformer支持U85 结构及卷积神经网络 (CNN) 以实现 AI 推理。这些能力是优化大模型边缘微调时间、提高模型泛化的关键特征，有利于快速推动新AI应用的发展。

　　“Transformer 视频理解、图文结合、图像增强与生成、图像分类和目标检测等在视觉和生成AI用例中具有很大的价值。Transformer架构网络的注意机制很容易通过并行计算来实现，从而提高硬件的使用效率，使这些模型可以部署在有限的计算资源边缘设备上。开发者可以选择针对它 Transformer 设计结构网络优化，挖掘边缘 AI 新的机遇，让这些应用享受到更快的推理，更优化的模型性能和可扩展性。”马健说。

　　据了解，Transformer 架构正在促进新的应用，尤其是面向视觉和生成 AI 在用例中，对于理解视频和填充图像的缺失部分或分析来自多个摄像头的数据来进行图像分类和目标检测是非常有效的。Ethos-预计U85将继续部署在新兴的边缘AI应用场景中，如智能家居、零售和工业，以满足更高性能计算的需要，并支持最新的AI框架。

　　此外，越来越多的应用处理器，如Linux，如工业机器视觉、可穿戴设备和消费者机器人等高性能边缘计算系统。这种模式更有利于云原生开发和云端负载调度等标准操作系统和高级开发语言的部署。尤其是在数据量不断增加的AI应用系统中，这一趋势尤为明显。

　　Ethos-在低功耗MCU系统中，U85不仅支持AI加速，而且能很好地支持上述需求，Ethos-在设计上，U85实现了Armv9 Cortex®-A CPU 加快机器学习加速处理的结合 (ML) 为更广泛、更高性能的设备提供高能效的边缘推理能力。

　　Arm Corstone-320：优化视觉应用

　　在万物智能的驱动下，无处不在的MCU和嵌入式系统对性能和AI加速的需求日益增加。Arm推出了全新的嵌入式处理器Cortex-M85，包括Cortex-M系列，以帮助合作伙伴简化系统开发流程，加快产品上市时间。 Ethos-U85 NPU AI Armm加速器边缘AI参考设计平台 Corstone-320。

　　因为视觉在多模态感知中起着关键作用，所以很多边缘MCU和传感器系统越来越依赖于视觉和图像感知，Corstone-320还包含了Arm设计。 Mali-为了实现视觉应用优化，C55ISP是一个低功耗系统。

　　根据马健的说法，这种参考设计是为实际工作负荷而开发的，参考用例包括在智能家居中部署的电池供电摄像系统，以及在工业和零售系统中部署的低帧率网络摄像机。与此同时，Corstone-320 参考设计提供了一个有安全保障的软硬件组合，让在此参考设计基础上开发的合作伙伴能够顺利通过。 PSA Certified Level 2 对区域和全球安全标准进行认证和合规。

　　和之前推出的Arm物联网参考设计一样，Corstone-320不仅提供芯片计算子系统的IP组合，还配备了软件、AI模型库和开发工具，实现了Arm强大的生态系统的再利用。另外，Corstone-320还附带了模拟Corstone-320 Arm的完整系统虚拟硬件(Arm VirtualHardware)，以及独立的CPU和NPU 固定虚拟平台 (FVP) 模型，简化开发，加快产品设计，支持软硬件并行协同开发。

　　"这提供了边缘 AI 以及全套智能物联网计算子系统软硬件和工具链的方法，使我们的合作伙伴能够在一系列性能点上快速开发，并专注于创造差异化价值。”马健说。

　　对马健来说，与以前的相比， AI 技术、大模型和生成模型 AI 最大的优点是泛化能力和对多模式的支持。比如对图像生成、图像分割等各种用例的泛化和普遍支持。此外，大模型和多模型的优点是微调时间，用较少的新样本重新训练和微调模型，使这些模型能够快速适应前所未见的新环境。可想而知，大模型就像一个非常有经验、知识渊博的智者，因为它受过大量数据的训练。因此，它可以成为各行各业工作者和各种用例的有力助手。

　　“比如智能家居的一些例子，家庭有了‘大脑’，帮助我们做各种不同的事情，而不仅仅是支持单一功能，从单一模型支持不同的传感器，到统一模型支持不同多模态传感器的输入。这种趋势和 Arm 在物联网领域，一贯的战略是不谋而合的。我们认为，只有通用的计算平台才能实现规模化，从而更好地实现丰富的软件支持。预计未来物联网碎片化问题可以通过大模型和多模式得到更好的改善。AI 它将从一个单一的功能到多个功能，甚至是通用的功能。 AI 方向演变，这种演变方式也很适合搭载。 Arm 推出的通用处理器，无论是嵌入式处理器还是应用处理器，处理器上实现的统一工具链，以及操作系统。 (OS) 软件支持中间件。”马健告诉集微网。

　　帮助边缘AI生态枝繁叶茂。

　　在过去的十年里，Arm不断创新和探索边缘AI领域。最初，它专注于优化各种传感器所需的嵌入式处理器(包括 Cortex-M 处理器、Cortex-A 处理器)，致力于实现超低成本、低功耗和小面积，并支持开发控制级代码。

　　在物联网时代，连接使得边缘计算能力和安全越来越重要，Arm也因为这些趋势而推出了Armv8-M 和 Arm 为了提高计算能力和安全性，TrustZone等技术。并且伴随着边缘和端侧 AI 在嵌入式领域，Arm引入了Armv8.1-M。Arm Helium技术使CPU能够执行更多的计算密集型。 AI 推理算法，之后推出了Arm。为了满足更高的性能和更复杂的AI工作负荷，Ethos系列AI加速器。

　　随着边缘终端智能计算能力和AI能力的不断提高，芯片系统的设计难度和复杂性也在增加，对系统的软硬件协同能力和生态能力提出了更高的要求。

　　“Arm 不只是专注于处理器 IP，为了满足更简单、更快捷的高性能边缘，加强对软件和工具链的投资。 AI 系统开发需求，支持许多需求 AI 算子和应用程序 Arm 优化计算平台的运行，使边缘 AI 在 Arm 这个平台枝繁叶茂。自然，为了实现这个目标，我们必须与生态伙伴共同努力。”马健说。

　　对马健来说，简单易用才更适合普及推广，这也是为什么随着边缘的推移。 AI 随着物联网生态链的不断扩大，芯片和系统供应商、算法软件开发商和集成商越来越聚集在一起。 Arm 计算平台。由于只有 Arm 可以提供计算平台 AI 实现基于量产验证的一致架构，从云到端、现代敏捷开发和部署过程中所需的特点和功能，采用统一工具链。 AI 转型。

　　“包括开发者、数据科学家、学术界在内的 AI 对社区的研究和开发，不仅持续受益 Arm 生态系统和合作伙伴提供丰富的信息和知识， Arm 计算平台构建的软件和工具生态系统日益增长，以及开源软件库和 AI 框架。例如大家都知道的。 PyTorch 开源 ML 框架广泛应用于神经网络模型的构建和训练，我们也很高兴看到。 PyTorch 基金投资边缘 AI，针对移动和边缘设备发布推理工具包 ExecuTorch，提供轻量级运行时间 (Runtime) 以及算子注册表，覆盖 PyTorch 生态系统中的各种模型。另外， Arm 特有的 IP许可模式和开放生态，OEM 和 ODM 可有多种基础 Arm 芯片和模块选择架构和计算平台，更加灵活地开发适合最终应用的系统方案。”马健说。

　　马健介绍，Arm 始终注重协同生态的力量，为开发者提供帮助。Arm生态系统合作伙伴去年底 Seeed Studios 发布了一款 AI 视觉开发板，由奇景光电基于奇景光电开发板 Arm Cortex-M55和 Ethos-U55 创建智能视觉芯片。该开发板上，Seeed Studios 整合了一系列 AI 工具和模型可以帮助开发者快速进行这些参考设计和芯片以及开发板发展AI。另外，Arm 在发布每个参考设计的同时，还会提供相应的参考。 Arm虚拟硬件，虚拟硬件是参考设计。 IP组合子系统的模拟。在子系统芯片准备好之前，模拟可以在云模拟平台上启动。 AI 和 ML 以及应用开发。

　　另外，为了支持中国广大物联网嵌入式开发者，Arm将虚拟硬件落地到百度云，正在与百度实现。 BML 和 EasyDL 基于Armm的工具链组合技术的 AI 可在百度飞桨中开发 (PaddlePaddle）这个中国本土框架变得更容易，并且实现了软硬件协同开发，也就是说， Arm 最新在IP量产芯片准备好之前，可以提前进行软件应用的开发和开发。 AI开发和优化ML算法。