2024 年 NASA SUITS 报告：面向机器人与太空探索的 LLM 驱动的沉浸式增强现实用户界面
机器人学
2025-07-03 v1 人机交互
摘要
随着现代计算的发展，新的交互范式不断出现，尤其是在增强现实（AR），后者将虚拟界面叠加到物理对象上。这种演变为机器感知带来了挑战，尤其是针对复杂动态环境中的 3D 物体姿态估计。我们的项目聚焦于移动 AR 环境下人机交互的关键问题，致力于非侵入式、具备空间感知的界面。我们提出了 URSA，一款针对 NASA 2023-2024 年 SUITS 挑战赛开发的 LLM 驱动式沉浸式 AR 系统，旨在满足未来太空任务需求，如阿泰里斯计划。URSA 集成了三项核心技术：用于直观视觉反馈的头戴式 AR 设备（如 HoloLens），以大语言模型为驱动的语音控制，实现无需双手的交互，以及能够在动态环境中实现准确 3D 定位的机器人跟踪算法。为提升精度，我们利用数字孪生定位技术，采用数据集如 DTTD-Mobile 和专用硬件如 ZED2 摄像头，在噪声和遮挡条件下实现真实世界跟踪。我们的系统可通过 AR 界面实现对机器人的实时控制和监控，即使没有地面真值传感器也能工作——这在危险或远程作业中至关重要。关键贡献包括：(1) 集成 LLM 语音输入的非侵入式 AR 界面；(2) 针对非刚性机器人身体的 ZED2 数据集；(3) 用于任务可视化的本地任务控制台（LMCC）；(4) 针对深度融合和实时跟踪优化的基于 Transformer 的 6DoF 姿态估计器（DTTDNet）；(5) 面向火星任务支持的端到端集成。该工作推动了机器人领域的数字孪生应用，为航空航天和工业领域提供可扩展解决方案。
引用
@article{arxiv.2507.01206,
title = {2024 NASA SUITS Report: LLM-Driven Immersive Augmented Reality User Interface for Robotics and Space Exploration},
author = {Kathy Zhuang and Zixun Huang and Yukun Song and Rui Li and Yinuo Zhou and Allen Y. Yang},
journal= {arXiv preprint arXiv:2507.01206},
year = {2025}
}