通过延伸现实重构人机交互：解锁由虚拟机器人和基础模型驱动的更安全、更聪明、更具同理心的交互
人机交互
2026-03-30 v2 机器人学
摘要
本视角通过延伸现实（XR）重构人机交互（HRI），认为由大型基础模型（FMs）驱动的虚拟机器人可作为认知基础、具同理心的智能体。与物理机器人不同，XR原生智能体不受硬件限制，可按需实例化、调整和扩展，同时仍可提供具身化与共处感。我们综合了XR、HRI和认知AI的工作，展示了此类智能体如何支持安全关键场景、跨领域的社交与认知同理心交互，以及通过XR与AI集成实现超越物理能力。我们随后讨论了多模态大型FMs（如大型语言模型、大型视觉模型和视觉语言模型）如何实现情境感知推理、情感敏感情境以及长期适应，使虚拟机器人成为认知与同理心的中介者，而非单纯的模拟资产。与此同时，我们强调了包括过度信任、文化与表征偏见、生物识别传感隐私关注以及数据治理与透明度在内的挑战与潜在风险。本文 concludes by outlining a research agenda for human-centered, ethically grounded XR agents - emphasizing multi-layered evaluation frameworks, multi-user ecosystems, mixed virtual-physical embodiment, and societal and ethical design practices to envision XR-based virtual agents powered by FMs as reshaping future HRI into a more efficient and adaptive paradigm.
引用
@article{arxiv.2512.02569,
title = {Reframing Human-Robot Interaction Through Extended Reality: Unlocking Safer, Smarter, and More Empathic Interactions with Virtual Robots and Foundation Models},
author = {Yuchong Zhang and Yong Ma and Danica Kragic},
journal= {arXiv preprint arXiv:2512.02569},
year = {2026}
}
备注
This paper is under review