面向福祉支持的个性化社会助理机器人及其端到端语音-语言模型
机器人学
2025-07-22 v1
摘要
社会助理机器人 (SAR) 已显示出在补充福祉支持方面的巨大潜力。然而，先前研究发现，现有 SAR 的对话管道在实时延迟、后话衔接和个性化语音对话方面仍受限。为应对这些限制，我们提出在 SAR 中集成端到端语音-语言模型 (SLM)。本工作 1) 通过小型用户研究评估了 SLM 启用 SAR 对话系统的可用性，2) 通过研究用户反馈识别了剩余限制，以为未来改进提供指导。我们进行了规模为 11 人的小型 within-participant 用户研究，结果显示参与者认为 SLM 启用 SAR 系统能够提供同理反馈、自然的轮流衔接、后话衔接和自适应响应。我们也发现参与者报告机器人的非语言行为缺乏可变性和与对话的同步性，以及 SLM 的口语反馈较为笼统和重复。这些发现突显了需要实时机器人动作与对话同步、改进提示或微调以生成更贴合心理健康实践的输出，以及更具表达性、自适应的语音生成的需求。
引用
@article{arxiv.2507.14412,
title = {Personalized Socially Assistive Robots With End-to-End Speech-Language Models For Well-Being Support},
author = {Mengxue Fu and Zhonghao Shi and Minyu Huang and Siqi Liu and Mina Kian and Yirui Song and Maja J. Matarić},
journal= {arXiv preprint arXiv:2507.14412},
year = {2025}
}