HARMONI:基于LLM的多用户人机交互多模态个性化
机器人学
2026-01-28 v1 人工智能
人机交互
摘要
现有人机交互系统通常缺乏在多用户环境中持续个性化和动态适应的机制，这限制了它们在真实世界部署中的有效性。我们提出了HARMONI，一个多模态个性化框架，利用大语言模型(LLM)使社交辅助机器人能够管理长期的多用户交互。该框架集成了四个关键模块：感知模块，用于识别活跃说话人并提取多模态输入；世界建模模块，用于维护环境表示和短期对话上下文；用户建模模块，用于更新长期特定说话人档案；生成模块，用于产生基于上下文且符合伦理的响应。通过在四个数据集上进行广泛评估和消融研究，以及在养老院环境中进行真实场景驱动的用户研究，我们证明了HARMONI支持稳健的说话人识别、在线记忆更新和符合伦理的个性化，在用户建模准确性、个性化质量和用户满意度方面优于基线LLM驱动的方法。
引用
@article{arxiv.2601.19839,
title = {HARMONI: Multimodal Personalization of Multi-User Human-Robot Interactions with LLMs},
author = {Jeanne Malécot and Hamed Rahimi and Jeanne Cattoni and Marie Samson and Mouad Abrini and Mahdi Khoramshahi and Maribel Pino and Mohamed Chetouani},
journal= {arXiv preprint arXiv:2601.19839},
year = {2026}
}