NXP对神经网络编译器发出的亮起将ML推到边缘设备

机器学习可能在未来五年内成为边缘设备的主食，有一些预测估计这一点98％的所有边缘设备都有某种智能功能到2025年。

通过Edge Intelligence成为电气工程中越来越受欢迎的话题，这并不奇怪，这是迄今为止的行业技术日最受欢迎的最终会话之一是恩智浦的讨论使用发光神经网络编译器和Tensorflow Lite开发ML应用程序，用于i.MX RT Crossover MCU。

在Q＆A的一部分期间，将进一步探讨的共同数量的与会者：它是什么，可访问性及其对机器学习实施的影响。

从一开始就开源

2018年，Facebook发布了发光，作为一个开源，社区项目到HERALD A“AI基础设施的社区驱动方法。“Cadence，Esperanto，Intel，Marvell和高通公司技术在船上立即跳起来，他们的支持在未来的硅五金中焕发。

发光如何创建AI基础设施的插图。使用的图像礼貌Vijay Rao和Nadav Rotem

像Glow这样的编译器用作机器学习框架的软件后端，如Pytorch，以有效地进入加速硬件。发光是独一无二的，因为它迎合了广泛的硬件加速器。虽然Glow的某些部分焦点是优化与数学相关的计算（独立于硬件），但其他实用程序配置为直接支持歧管硬件目标。

昵称“辉光”源自“Graph下降编译器”，因为它为多个硬件加速器创建代码，每个硬件加速器都有自己的内存配置。

发光：用于硬件加速器的乐队

硬件加速器是一种用于机器学习执行的Linchpin，以解决任意数量的问题。这些加速器分布到多个执行单元，应用程序特定电路和片上存储体中，以有效地执行这些工作负载。

发光编译器执行降低到机器代码的图表。屏幕截图使用的礼貌恩智浦

但有时，设计师需要专门的硬件来操作机器学习程序，在这些情况下，像发光一样的编译器可以协调执行过程的许多移动部分。

当我们谈论机器学习时，我们经常会看到一种神经网络模型，可在人类大脑中反映突触活动。但在行业技术时期，Markus Levy（北方委员会的AI和ML Technologies总监）对这项技术有不同的说明。

他讨论了不同的操作（如汇集，卷积和激活函数），如各个层或过滤器，该信息必须在决定之前一个接一个地通过。

不同层的神经网络。屏幕截图使用的礼貌恩智浦

超过两个阶段，发光拍摄计算图，并为这些图层创建优化的机器代码。第一阶段使用核融合等技术增强模型的层。这归结为倒置复杂的操作来转闭消除和简单的内核。第二阶段允许编译器使用LLVM模块访问专用硬件的后端功能。

这是恩智浦磨练的地方。

恩智浦索赔“首先”，以其基于MCU的发光实施

恩智浦最近发布了ML软件支持，eiq.，发光。恩智浦声称这一合作是一个业界首先用于在选择NXP MCU上实现高性能，低内存占用的NN编译器- ImxT RT交叉设备。

eiq-glow框图。使用的图像礼貌恩智浦

该公司通过使用两个NN操作员图书馆 - ARM CMSIS-NN和HIFI NN库来加速ARM Cortex-M芯和Cadence Tensilica Hifi 4 DSP的性能。反过来，这会扩大了NXP I.MX RT685，I.MX RT1050和RT1060的推理性能。

在一个行业白皮书如何为NXP的低功耗MCU进行优化NNS，恩智浦解释说，用户可以在eiq ml软件开发环境中轻松访问发光，该环境在恩智浦的免费Mcuxpresso SDK中捆绑在一起。

发光最具吸引力的功能之一，被称为较前（AOT）编译，允许用户追溯地安排编译，这可以在以后的日期脱机。AOT编译允许它们创建用户可以稍后链接到应用笔记的对象文件（“辉光束”）。

如何创建发光捆绑包。屏幕截图使用的礼貌恩智浦

该对象文件消除了麻烦的开销，最小化计算，不必要的内存存储 - 在存储器上为低成本MCU的BOON。

从Github到全球供应商支持

从两年前的初始发布开始，发光已经走了很长的路。

Facebook的软件工程经理Dwarak Rajagopal，解释说：“来自GitHub的标准，开箱即用的发光，是设备不可知论，为用户提供灵活性，可以灵活地编制兴趣的基本架构的神经网络模型，包括ARM皮层 -A和Cortex-M核心以及RISC-V架构。“

ML Accelerator如何简化网络通信。图片（修改）使用礼貌Facebook Engineering.

但rajagopal说，这肯定不是发光的能力限制 - 特别是在全球130名贡献者。

“通过使用MCU的计算元素的专用软件库并提供2-3倍性能增加，恩智浦已经展示了使用GLOW NN编译器来实现机器学习应用程序的广泛优势，从高端云 -他注意到了基于低成本嵌入式平台的机器。