边缘AI在智能家居人机界面(HMI)中的应用

消费者对于改进其便利性、安全性和用户体验的进步有着无法满足的胃口。我们看到，人机界面(human-machine interface，HMI)以明显的方式发展，从纯粹的触觉发展到多年来，已经涵盖了从语音到手势到视频以及各种计算机视觉功能的各种输入方法，从销售终端到智能家居。下一步将是不仅理解直接命令而且可以推断意图的设备。

同时，对基于云的传统连接设备的安全性和延迟的担忧日益加剧，这为更多基于边缘的处理铺平了道路。在人机界面(HMI)中尤其如此。但是，本地处理给技术开发人员带来了新的挑战，他们必须考虑特定用例要求，开发选项和智能(受机器学习训练的)设备的成本，这些设备需要引入新的自动化水平来增强感知智能和环境计算。

边缘AI是基础

所谓的边缘AI(Edge AI)是实现更复杂、用户友好和更安全的IoT体验的基础。根据定义，边缘AI意味着AI处理是在最终产品本身(例如机顶盒或智能显示器)内部而不是在云中运行。这样做的理由是众所周知的，即更好的隐私、更少的带宽和更快的响应时间，甚至生态友好性，因为边缘处理减少了运行大型数据中心的能源、水和其他资源的需求。

边缘AI已在我们生活每天接触的许多应用中采用，但最初的使用很大程度上仅限于昂贵的产品，例如智能手机和汽车。因此，针对这些产品的边缘AI实施也很昂贵，并且对于智能家居的消费者零售设备来说已经遥不可及。在很大程度上，现有的边缘AI应用就其提供的用户体验而言是一维的。例如，ADAS(高级驾驶辅助系统)应用中具有AI功能的视觉或移动电话中的图像质量增强。

为智能家居创建和采用边缘AI解决方案的令人信服的理由是什么?

HMI推动家庭中的边缘AI

我们看到，在无处不在的消费物联网细分市场中，人们的兴趣特别浓厚，应用机会越来越多，例如各种娱乐、通信、家庭自动化、安全性以及其他各种设备。尤其是在当前时代，消费者希望获得互联的体验，但没有传统互联的成本、隐私和性能问题。对更具沉浸感和感知力的人机交互的需求是推动智能家居中边缘AI需求的关键因素。

借助市场上智能家居基于AI的边缘计算解决方案，创造更人性化的体验所需的性能将可用于更广泛的产品。

受益于智能家居中的边缘AI的实际应用案例很多。有些具有明显的实际好处。例如，家用门铃摄像头，可以分辨包裹掉落和包裹被盗之间的区别。娱乐设备可以自动检测低分辨率视频流并将其提升到更高的分辨率，并具有出色的感知质量，从而更好地利用高分辨率电视显示器。即使是熟悉的，现在几乎无处不在的视频会议应用也可以通过更高质量的视频和音频进行增强，并可以在具有成本效益的设备上使用。

其他示例似乎更具未来性。可以根据冰箱中的食材储备内容提供晚餐(菜单)建议的冰箱。烤箱可以告诉您何时将餐点烹制至完美。一个虚拟的私人家庭瑜伽教练，可以提醒您在摆姿势时伸直双臂。家庭自动化设备可以协同工作，以预测房主的需求，从取暖、准备食物到选择在电视上观看的内容。

这样的解决方案可以将视频、视觉和语音传感器与AI处理功能结合在一起，以将增强的功能带给新一代熟悉的设备，例如智能显示器和条形音箱、机顶盒和安全摄像机等等。

这些应用的共同点是需要一种基于边缘的、基于AI的解决方案，该解决方案专门针对智能家居而非智能手机或汽车应用程序而量身定制。为了进一步使边缘AI民主化，解决方案必须是：

能够在有效的系统中结合语音、视频和视觉，支持多模式AI增强的用户体验; 通过标准工具，更广泛的AI开发人员和创新者可以访问; 确保安全和隐私措施符合消费者的期望。

智能家居中边缘AI优势

智能家居人机交互需要多模式方法

正如我们之前所讨论的，针对智能手机和汽车应用的基于边缘AI的解决方案主要侧重于摄像机视觉应用。但是，在智能家居中，多模式人机交互界面是在连接设备的新时代增强用户体验的关键要素。以机顶盒为例，此应用将需要视频AI，也许是如前所述的视频增强形式。它还需要语音AI能够通过语音命令来识别正在看电视的人，并相应地配置体验。例如，让选择喜欢的节目变得更加容易。甚至可能需要视觉AI，并且需要带有内置摄像头，以便远程与家庭成员聊天时提供增强而直观的视频会议体验。

理想的解决方案是以智能家居为中心的SoC(系统级芯片，System-on-a-Chip)，它可以支持高性能视频、语音和视觉处理以及集成的AI加速器。 Synaptics VS600 SoC系列就是这种解决方案的一个示例。这种方法不仅经过优化，可以满足智能家居应用对多模式AI性能的要求，而且还可以将所有这些功能集成到单个芯片中，从而使以消费者市场价格出售的普通家用产品都可以使用。

这个需要的解决方案从一个SOC平台开始，该平台集成了多种类型的处理器引擎：CPU、NPU、GPU和ISP，以及与高性能相机和显示器的挂钩。这种架构实现了高度安全、低成本推理和实时多模式性能的理想组合。Synaptics Edge AI系列是一系列SoC，每个SoC都高度针对其给定的消费类应用。该系列中的每个SoC都集成了所需的处理内核以及该应用程序的适当级别的集成AI性能。

完整的堆栈工具方法可简化AI开发

如我们所见，成本/性能之间的权衡对于成功将边缘AI扩展到更多应用至关重要。在竞争激烈的消费电子领域、上市时间和差异化也至关重要。为了应对边缘AI广泛传播的挑战，需要采用全栈方法，其中包括将AI创新引入边缘 AI SoC的必要开发工具。

最重要的是，所需的工具集应该与庞大且不断增长的AI开发人员用户社区兼容。例如，该工具包将使开发人员能够导入使用行业标准框架(例如TensorFlow，TensorFlow Lite，Caffe和ONNX)创建的模型。这使开发人员能够利用现有的AI创新，并使他们迅速而轻松地在目标SoC上工作。

让我们使用我们前面讨论的个人家庭瑜伽教练应用。该应用所基于的AI模型将是人体姿势估计模型，这是一种行业标准的概念，用于检测用户在摄像机视线中的相对骨骼位置。如果AI开发人员自己使用行业标准工具(例如TensorFlow lite)创建的人体姿势估计模型的实现，则他们将使用该工具包将其导入以在所需的SoC上使用。

当开发人员准备就绪时，该工具应使他们能够针对将在其上运行的所选处理器优化其AI模型的性能。开发人员可以选择使用开放框架，例如TensorFlow或TensorFlow Lite，但是在使用它们时要牢记目标处理器的功能。或者他们可以再次使用特定于SoC的工具，例如Synaptics的SyNAP工具，该工具支持专门针对VS600 SoC中的处理器进行优化。在我们的示例中，开发人员可以使用SyNAP优化功能来配置其身体姿势估计模型，例如，使其能够以每秒30帧的速度在VS600 SoC上实时运行。

但是，安全和隐私需要满足消费者的期望

人机界面的未来听起来很光明，但采用的障碍可能是用户认为他们的隐私和安全性将受到损害。新闻中有许多最近的故事可以证实这种担忧。任何有意义的人机界面解决方案都必须考虑到这一点。

幸运的是，这些视频、语音和视觉数据将在设备中而不是在云中进行处理的事实在隐私方面取得了巨大的进步。在视频门铃示例中，通过将AI智能添加到门铃本身中，来自前门的视频不需要24/7流式传输到云，而仅当存在特定事件时才需要。例如，仅当AI引擎检测到一个邪恶的人正在接近门时，才传输视频。或者，以我们的家庭瑜伽教练为例，该应用可以像我们之前显示的那样完全在设备中运行，而根本不需要将任何图像从家中发送到云端服务器。

但是，即使从未将这些图像发送到云，用户也可能担心，即使是暂时的，这些图像仍会在您的设备中被捕获和处理。还有一个安全隐患，一个有恶意的人可能试图从您的设备中获取该数据。因此，理想的以智能家居为中心的AI解决方案还必须确保以安全的方式捕获和处理该内容，这一点至关重要。

智能家居安全

物联网的新时代将通过更多的“本地智能”(边缘AI)来推动，这将减少始终保持连接的需求和风险。在边缘设备上进行处理的AI驱动的神经网络是加速采用感知智能系统的关键。通过能够在边缘实现此功能，系统可以以更高的安全性和隐私性以及更低的延迟运行。可以支持多模式接口解决方案的高性能，多处理器SoC(以消费者市场的价格提供)将帮助开发人员快速利用AI创新并使其产品脱颖而出。

机器如何利用语音、视频和视觉数据，以及如何利用它们来理解和预测性地响应我们所做的事情(例如说或触摸)，从而改善了物联网如何在我们的生活中提供前所未有的安全性、便利性和生产力。