h1_key

  恩智浦敢为人先，敢于引领和创新。恩智浦一直致力于支持i.MX应用处理器的摄像头模块接口。恩智浦还实现了CPU、GPU等多个SOC共享资源的机器学习。该功能仍然运行良好(根据应用程序的需要而异)，本文将解释为什么恩智浦决定升级它，并在i.MX8MPlus中添加图像信号处理器(ISP)和机器学习(ML)加速器。

  机器学习的重要性与日俱增。

  云机器学习是支持人们使用智能手机语音助手或智能扬声器语音助手的关键技术。它还支持社交媒体甚至手机分组包含特定人员的照片。但这些用例都依赖于运行在云服务器上的机器学习。

  真正的挑战是边缘机器学习。I.MX8MPlus等边缘处理器本地运行所有机器学习推理。ML推理在边缘运行意味着，即使网络访问中断，应用程序也可以继续运行——这对于监控或异常检测等应用程序非常重要，在没有网络访问的偏远地区运行也非常重要。ML推理在边缘运行也减少了决策延迟，而不是必须将数据发送到服务器进行处理并发回结果。例如，在实施工业工厂现场目视检查时，低延迟非常重要，或者需要决定是接受还是拒绝掠过的产品。

边缘机器学习的另一个关键优势是保护数据安全。收集的专有数据(如边缘设备捕获的员工、生产在边缘处理并保存在本地。该系统不会将信息发送到云进行处理，只记录和跟踪云。企业的隐私不会受到损害，企业可以决定是否在云中共享信息。

  边缘机器学习需要多大程度?

  现在，考虑到对边缘机器学习的巨大需求，问题变成了机器学习需要多大程度。衡量机器学习加速器的一种方法是每秒运算次数(通常是8位整数相乘或累加)，通常称为TOPS(即每秒万亿次运算)。由于整体系统性能也受到许多其他因素的影响，TOPS是最常用的机器学习测量方法之一。

事实证明，在边缘进行完整的语音识别(不仅仅是关键字识别)大约需要1-2个TOPS(这取决于算法。如果你想理解用户想要表达的意思，而不仅仅是将语音转换为文本，你需要更多的操作次数)。目标检测(使用Yolov3等算法)也需要大约2-3个TOPS。因此，机器学习加速(如i.MX8MPlus2.3TOPS)是此类应用的最佳选择。

  下一步:图像信号处理器(ISP)

  所有基于摄像头的系统都具有ISP功能，尽管有时可以集成到摄像头模块或嵌入到应用程序处理器中，并可能隐藏用户。ISP通常会增强各种类型的图像，其主要目的是将原始图像传感器每像素输出的单色重量转换为系统其他部分更常用的RGB或YUV图像。

  当摄像头输入网络或网络摄像头(通常通过以太网或USB连接到应用程序处理器)时，基于视觉的系统中没有ISP的应用程序处理器运行良好。对于这些应用处理器保持一定的距离，甚至可以达到100米左右。相机本身内置ISP和处理器，可以转换图像传感器信息，编码视频流，然后通过网络发送。

  无ISP的应用处理器也适用于分辨率相对较低的摄像头。在100万像素或更低的分辨率下，图像传感器通常内置ISP，可以将RGB或YUV图像输出到不需要ISP的应用处理器中。

  但在大约200万像素(1080p)或更高的分辨率下，大多数图像传感器依赖于系统中其他部件的ISP，而不是内置ISP。它可能依赖于独立的ISP芯片(可以运行，但会增加系统的功率和成本)或集成在应用程序处理器中的ISP。因此，恩智浦选择使用i.MX8MPlus解决方案——提供高质量的成像，特别是在200万像素和更高分辨率的情况下，优化成像解决方案。

在智能视觉系统的帮助下，智能工厂可以提高生产率、质量和安全性。

  促进智能边缘设备的发展

  综上所述，i.MX8MPlus应用处理器集2.3TOPS机器学习加速器和ISP于一体，无论是智能建筑、智能城市还是工业物联网应用，都将成为边缘嵌入式视觉系统的关键组成部分。

  在嵌入式ISP的帮助下，它可以创建一个高质量的图像优化系统，直接连接到本地图像传感器，甚至为更新的机器学习算法提供这些图像数据，都可以减轻本地机器学习加速器的负担。

  I.MX8MPlus架构是为机器学习和视觉系统而优化的，边缘设备设计师可以像恩智浦一样敢于引领和创新。具有较强的机器学习能力，配合高清摄像头系统，能使设备看得更清晰、更远。新的创新机遇不断涌现在嵌入式领域。

  I.MX8MPlus架构是为机器学习和视觉系统而优化的，边缘设备设计师可以像恩智浦一样敢于引领和创新。具有较强的机器学习能力，配合高清摄像头系统，能使设备看得更清晰、更远。新的创新机遇不断涌现在嵌入式领域。