增强现实中物体重排任务的最优辅助

能够访问板载传感器并向用户显示相关信息的增强现实（AR）眼镜，为在日常生活任务中提供用户辅助带来了机遇。许多此类任务可表征为物体重排任务。我们引入了一种计算与显示 AR 辅助的新框架，包括（1）将最优动作序列与具身智能体的策略相关联，以及（2）将该序列作为建议呈现在 AR 系统的平视显示器中提供给用户。该具身智能体由 AR 系统与用户构成“混合”：AR 系统的观测空间（即传感器）与用户的动作空间（即任务执行动作）；其策略通过最小化任务完成时间学习得到。在本初步研究中，我们假设 AR 系统的观测包含环境地图以及物体与用户的定位。这些选择使我们能够将任意物体重排任务的 AR 辅助计算问题形式化为一个规划问题，具体为带容量约束的车辆路径问题。此外，我们引入了一种新型 AR 模拟器，可通过用于具身人工智能的 Habitat 模拟器实现基于网络的类 AR 辅助评估及规模化数据收集。最后，我们利用所提出的 AR 模拟器在 mechanical turk 上，针对一项具体的日常生活物体重排任务（房屋清洁）评估了用户对所述 AR 辅助形式的响应。特别地，我们研究了所提 AR 辅助在一系列任务难度下对用户任务表现与能动感的影响。结果表明，向用户提供此类辅助可提升其整体表现，且尽管用户报告其能动性受到负面冲击，他们仍可能偏好所提辅助而非完全无辅助。