学习多方社交互动中的非语言线索用于机器人主持人
机器人学
2025-01-22 v1 机器学习
摘要
传统的行为克隆（BC）模型往往难以复制人类行为的细微之处。以往的研究尝试通过开发新的 BC 技术来解决这一问题：隐式行为克隆（IBC）。该新技术在各种任务中 consistently 超过传统的均方误差（MSE）BC 模型。我们的目标是使用 Florence 在《第 5 届机器人学习会议》（164:158-168, 2022）上的工作，针对社交互动任务实现 IBC 模型的性能。尽管先前的研究探索了使用大型语言模型（LLM）来增强小组对话，但它们往往忽视了非语言线索的重要性，这在人类沟通中占相当大的比例。我们提议使用 IBC 来复制非语言线索，如凝视行为。该模型在各种类型的主持人数据上进行评估，并与显式的 MSE BC 模型进行比较。结果表明，IBC 模型在所有会话类型中都优于 MSE BC 模型，采用了上一篇 IBC 论文中使用的相同指标。尽管某些指标显示出混合结果，这可以用自定义社交互动数据集解释，我们成功复制了 IBC 模型以生成非语言线索。我们的贡献包括（1）IBC 模型的复制和扩展，以及（2）用于社交互动的非语言线索生成模型。这些进展促进了机器人在缺乏人类主持人的情况下融入人类与机器人之间复杂互动的可能性。
引用
@article{arxiv.2501.10857,
title = {Learning Nonverbal Cues in Multiparty Social Interactions for Robotic Facilitators},
author = {Antonio Lech Martin-Ozimek and Isuru Jayarathne and Su Larb Mon and Jouhyeong Chew},
journal= {arXiv preprint arXiv:2501.10857},
year = {2025}
}
备注
Submitted to as a short contribution to HRI2025