智能虚拟声学师(IVS): 提升医生-机器人-患者间的沟通
人机交互
2025-07-18 v1 机器人学
摘要
大语言模型(LLM)和机器人技术的不断进步和成熟，为人机交互开辟了广阔的潜力，尤其是在机器人超声诊断领域。虽然现有研究主要关注患者-机器人或医生-机器人之间的交互，但充当医生-机器人-患者之间桥梁的智能虚拟声学师(IVS)角色仍鲜有探讨。本工作介绍了一个在延伸现实(XR)中的对话式虚拟代理，旨在促进医生、机器人超声系统(RUS)和患者之间的实时交互。IVS代理以专业方式与医生交流，同时为患者提供具有共情力的解释和安慰。此外，它主动控制RUS以执行医生命令，并透明地向患者传递这些动作。通过将LLM驱动的对话集成到语音识别、语音合成和机器人控制中，我们的系统提高了机器人超声采集的效率、清晰度和可及性。本工作是理解IVS如何在医生-机器人-患者交互中桥接沟通鸿沟的第一步，提供了更多控制力和可信度，从而改善了患者对机器人超声的体验和接受度。
引用
@article{arxiv.2507.13052,
title = {Intelligent Virtual Sonographer (IVS): Enhancing Physician-Robot-Patient Communication},
author = {Tianyu Song and Feng Li and Yuan Bi and Angelos Karlas and Amir Yousefi and Daniela Branzan and Zhongliang Jiang and Ulrich Eck and Nassir Navab},
journal= {arXiv preprint arXiv:2507.13052},
year = {2025}
}
备注
Accepted at MICCAI 2025