ERR@HRI 2.0 挑战：基于多模态数据的人机对话错误与故障检测
机器人学
2025-10-10 v2 人工智能
人机交互
摘要
将大型语言模型（LLM）集成到对话机器人中，使人机对话更加动态。然而，基于LLM的对话机器人仍然容易出现错误，例如误解用户意图、过早地打断用户，或完全未作出响应。检测和解决这些故障对于防止对话中断、避免任务受阻以及维持用户信任至关重要。为解决此问题，ERR@HRI 2.0 挑战提供了一套来自人机对话中由LLM驱动的机器人故障的多模态数据集，并鼓励研究人员对设计用于检测机器人故障的机器学习模型进行基准测试。该数据集包含16小时的双人人机互动，包含面部、语音和头部运动特征。每次互动都被标注为系统层面是否存在机器人错误，以及用户是否希望纠正机器人行为与用户期望之间的不匹配。邀请团队参与者开发能够利用多模态数据检测这些故障的机器学习模型。提交将依据 various performance metrics 进行评估，包括检测准确率和误报率。此挑战标志着通过社交信号分析改进人机交互中故障检测的重要一步。
引用
@article{arxiv.2507.13468,
title = {ERR@HRI 2.0 Challenge: Multimodal Detection of Errors and Failures in Human-Robot Conversations},
author = {Shiye Cao and Maia Stiber and Amama Mahmood and Maria Teresa Parreira and Wendy Ju and Micol Spitale and Hatice Gunes and Chien-Ming Huang},
journal= {arXiv preprint arXiv:2507.13468},
year = {2025}
}