MIST：面向智能家居的多模态交互式语音工具调用对话助手
计算与语言
2026-05-11 v1 人工智能
人机交互
多媒体
声音
音频与语音处理
摘要
物理世界中物联网设备的发展，需要能够处理复杂用户体验的语音交互界面。尽管现代大型语言模型（LLM）已展现出强大的工具使用能力，但对真实世界物联网设备进行建模仍是一个困难且研究不足的挑战，它结合了时空约束建模与语音输入、动态状态跟踪以及混合主动交互模式。我们引入了 MIST（多模态交互式语音工具调用数据集），这是一个在物联网设备上运行的多轮、语音驱动的合成代码生成任务。我们发现，在 MIST 上开放权重和闭权重多模态 LLM 之间存在显著差距，甚至前沿的闭权重 LLM 仍有很大的提升空间。我们发布 MIST 及一个可扩展的数据生成框架来构建相关数据集，以促进关于推理物理世界约束的混合主动语音助手的研究。
引用
@article{arxiv.2605.06897,
title = {MIST: Multimodal Interactive Speech-based Tool-calling Conversational Assistants for Smart Homes},
author = {Maximillian Chen and Xuanming Zhang and Michael Peng and Zhou Yu and Alexandros Papangelis and Yohan Jo},
journal= {arXiv preprint arXiv:2605.06897},
year = {2026}
}
备注
Project Page: https://billyzhang24kobe.github.io/mist-smarthome/