MultiIoT：面向物联网的机器学习基准评测
机器学习
2024-07-08 v2 人工智能
计算与语言
计算机视觉与模式识别
多媒体
摘要
下一代机器学习系统必须善于通过多种感官通道感知并与物理世界交互。通常被称为“物联网（IoT）”生态系统的、来自运动、热、地理定位、深度、无线信号、视频与音频的感官数据，正日益被用于建模物理环境及其中的人的状态。尽管在理解人类福祉、控制物理设备与互联智慧城市方面具有潜力，学界仍缺乏用于构建物联网机器学习系统的基准。现有工作常专用于单一感官模态或预测任务，难以跨多种 IoT 传感器与任务研究和训练大规模模型。为加速物联网新机器学习技术的发展，本文提出 MultiIoT，迄今最广泛且统一的 IoT 基准，涵盖来自 12 种模态与 8 个真实任务的超过 115 万样本。MultiIoT 引入了涉及（1）来自多种感官模态的可泛化学习，（2）长时域上的多模态交互，（3）由真实世界传感器独特结构与噪声拓扑导致的极端异质性，以及（4）训练与推理复杂度的独特挑战。我们在 MultiIoT 上评估了全面的一组模型，包括模态与任务专用方法、多感官与多任务监督模型，以及大型多感官基础模型。结果凸显了 ML 在 IoT 中产生重大影响的机遇，但可扩展地从异质、长程与不完美感官模态学习仍存诸多挑战。我们发布全部代码与数据以加速未来物联网机器学习研究。
引用
@article{arxiv.2311.06217,
title = {MultiIoT: Benchmarking Machine Learning for the Internet of Things},
author = {Shentong Mo and Louis-Philippe Morency and Russ Salakhutdinov and Paul Pu Liang},
journal= {arXiv preprint arXiv:2311.06217},
year = {2024}
}