LookOut：真实世界人形机器人自我中心导航
计算机视觉与模式识别
2025-08-21 v1
摘要
从自我中心观察中预测无碰撞的未来轨迹的能力在人形机器人、VR/AR 和辅助导航等应用中至关重要。本文引入了一个具有挑战性的问题：从自我中心视频中预测未来 6D 头部姿态序列。特别是，我们同时预测头部的平移和旋转，以学习通过转头事件表达的主信息收集行为。为解决此任务，我们提出了一个框架，该框架对时间聚合的 3D 潜在特征进行推理，为环境的静态和动态部分建模几何和语义约束。受该领域训练数据缺乏的驱动，我们进一步贡献了一个使用 Project Aria 眼镜的数据收集流程，并展示了通过此方法收集的数据集。我们的数据集名为 Aria Navigation Dataset (AND)，包含 4 小时用户在真实世界场景中导航的记录。它涵盖了多样化的场景和导航行为，为学习真实世界自我中心导航策略提供了宝贵资源。大量实验表明，我们的模型学会了类似人类的导航行为，如等待/减速、重新规划路线和环顾四周注意交通，同时能泛化到未见过的环境。请访问我们的项目网页 https://sites.google.com/stanford.edu/lookout。
引用
@article{arxiv.2508.14466,
title = {LookOut: Real-World Humanoid Egocentric Navigation},
author = {Boxiao Pan and Adam W. Harley and C. Karen Liu and Leonidas J. Guibas},
journal= {arXiv preprint arXiv:2508.14466},
year = {2025}
}