SensiX++：将MLOps和多租户模型服务引入感知边缘设备

我们提出SensiX++——一个用于自适应模型执行的多租户运行时，并在边缘设备（例如摄像头、麦克风或物联网传感器）上集成了MLOps。SensiX++基于两个基本原则运作：高度模块化的组件化，通过清晰的抽象将数据操作外部化；以及以文档为中心的清单，用于系统范围的编排。首先，数据协调器管理传感器的生命周期，并通过自动转换向模型提供正确的数据。其次，资源感知的模型服务器通过模型抽象、流水线自动化和特征共享，隔离地执行多个模型。然后，一个自适应调度器在异构加速器上编排多个模型的尽力而为执行，平衡延迟和吞吐量。最后，带有REST API的微服务提供综合的模型预测、系统统计信息和持续部署。这些组件共同使SensiX++能够在边缘设备上高效地服务多个模型，并进行细粒度控制，同时最大限度地减少数据操作冗余、管理数据和设备异构性、减少资源争用并消除手动MLOps。我们在为感知设备设计的不同边缘加速器（Jetson AGX和Coral TPU）上，使用十种不同的视觉和声学模型，在各种多租户配置下对SensiX++进行了基准测试。我们报告了整体吞吐量和SensiX++各种自动化组件的量化收益，并展示了其在显著降低操作复杂性、减少在边缘设备上部署、升级、重新配置和服务嵌入式模型的工作量方面的功效。