物联网-LM：面向物联网的大型多感知语言模型
机器学习
2024-07-16 v1 人工智能
计算与语言
计算机视觉与模式识别
多媒体
摘要
由数十亿与之集成的智能物理设备组成的物联网(IoT)网络，是现代世界中一个关键且快速扩张的组成部分。物联网生态系统为识别人类和物理对象的状态提供了丰富的真实模态数据，包括运动、热成像、地理位置、影像、深度、传感器和音频等。机器学习为规模化地自动处理物联网数据提供了广阔的机会，使我们能够高效地推断以理解人类福祉、控制物理设备和互联智能城市。为实现这一潜力，我们引入IoT-LM，一个为物联网生态系统量身定制的开源大型多感知语言模型。IoT-LM由两项技术推动而来：第一项是MultiIoT，即迄今为止最广泛的统一物联网数据集，包含来自12种模态和8项任务的超过115万个样本，旨在进行多感知预训练和指令调优。第二项是一种新的多感知多任务适配器层，用于在多感知物联网数据上条件化预训练的大型语言模型。IoT-LM不仅在8项监督物联网分类任务上实现了显著的改进，还展示了在物联网传感器条件下实现新的交互式问答、推理和对话能力。我们发布了IoT-LM的数据来源和新的多感知语言建模框架。
关键词
引用
@article{arxiv.2407.09801,
title = {IoT-LM: Large Multisensory Language Models for the Internet of Things},
author = {Shentong Mo and Russ Salakhutdinov and Louis-Philippe Morency and Paul Pu Liang},
journal= {arXiv preprint arXiv:2407.09801},
year = {2024}
}
备注
arXiv admin note: text overlap with arXiv:2311.06217