? ??物联网已经从连接普通设备，如灯泡、摄像头、传感器和恒温器，到连接智能助手、婴儿监视器和智能电器。现在，我们可以使用来自传感器、麦克风/音频和摄像机/视频的数据，持续训练机器学习和人工智能（AI），获得预测能力。
? ? 我们现在已经可以在网络边缘运行强大的智能设备。
边缘AI
基于神经网络的AI主要由训练和推理组成。
训练：专家建立深度神经网络（DNN）模型去解决一些特定的问题，如对象分类或语音识别。他们在云端或数据中心执行计算密集型模型训练任务。
推理：一旦模型可靠，就可以部署到物联网设备上。这些设备将来自传感器、麦克风和摄像头的输入数据与训练好的模型进行比较，做出“智能”的决定。
基于软件算法的进步，硬件计算资源的提高和安全性的提升，推理工作不再需要在云端进行；现在，可以在设备网络边缘执行推理工作。
边缘AI有哪些优势？与基于云计算的解决方案相比，边缘推理可以实现更低的延迟响应、更少的带宽成本，并节约存储成本。例如，对象跟踪应用如果在本地分析摄像头视频内容的话，可以更快速地进行响应，而无需将内容从网络边缘发送到云端进行处理并等待结果。此外，由于数据保留在物联网设备上，而不是通过网络传输，所以边缘推理也可以带来更好的隐私保护和安全性。
如何在IOT设备的边缘运行AI
? ? IoT设备运行AI，为音频、视频和传感器分析提供了的机会，可用于联网摄像头、家庭控制中心、无人机/机器人和XR以及工业物联网和智慧城市。在以后的博客文章中，我将探讨这些机会对开发者意味着什么。

?

? ? 设备端AI需要运行在正确的计算核心。仅仅有一个强大的多核CPU还不够。图形处理单元（GPU）可能更适合于检测和跟踪，而分类计算密集型工作负载可能在数字信号处理器（DSP）上运行得更好。更好的是，随着Hexagon矢量扩展（HVX）的加入，DSP可以以极低的功耗高速处理图像。
? ? 在物联网中成功部署人工智能的关键是在核心上运行工作负载，同时保证低功耗和推理性能。因此，对于Qualcomm Technologies平台开发者来说，可以在各种核心（GPU、DSP/HVX和CPU）异构运行神经网络模型，拥有这样的灵活性就是一个明显的优势。
例如，物联网设备运行AI为个人、社区和企业用例带来视觉智能：
??视频摘要
??场景分类
??文字或车牌识别
??人脸检测和识别
??带深度和位置跟踪的对象检测和分类
?
例如，如果与员工数据库相匹配，使用DNN进行人脸识别可以为企业带来更高的安全性。另一个例子是使用DNN来清点人数，并按性别和年龄进行分类，这样的操作对于零售业来说简直就是福音。
物联网设备运行AI还可以在新用例中引入音频智能：
??音频分类（例如婴儿哭闹、玻璃破碎、枪声识别）
??语音激活和讲话者识别
??回声消除和噪音抑制
??自然语言处理/自动语音识别（NLP/ASR）
?
Qualcomm??骁龙?神经处理引擎
搭载Qualcomm Technologies系统级芯片（SoC）的物联网设备拥有2至3个可用于运行AI工作负载的内核：
??Qualcomm Kryo? CPU
??Qualcomm Adreno? GPU
??Qualcomm Hexagon? DSP, including recently released versions with HVX
??Qualcomm Hexagon? DSP，包括最近发布的HVX版本

?

? ? 现在，Qualcomm Technologies还提供骁龙神经处理引擎（SNPE），这是一款专为在Qualcomm Technologies SoC各计算核心（GPU、DSP和CPU）运行而设计的软件框架。SNPE SDK包含将基于Caffe/Caffe2和TensorFlow的现有网络迁移到Qualcomm Technologies SoC运行环境的转换工具。还为各核心提供了调试工具和性能优化工具。开发者可以优化应用，在适合的核心上运行AI任务。

?

? ? 我们采用异构计算技术，结合高度集成的SoC和SNPE，不论在机器人、智能家居，或是工业应用方面，都可以实现在物联网设备边缘、低功耗地运行AI。

CSDN新闻