基于3D流的机器人策略学习中的主动视觉——来自人类第三人称视角
机器人学
2026-02-27 v1
摘要
第三人称人类视频提供了可扩展的操纵演示来源；然而，将其部署到机器人上需要主动视点控制以维持关键可见性，而人类视点模仿往往难以提供。我们提出EgoAVFlow，通过共享3D流表示学习操纵和主动视觉，支持几何可见性推理并可在无机器人演示的情况下迁移。EgoAVFlow使用扩散模型预测机器人动作、未来3D流和相机轨迹，并通过在可见性感知奖励下进行去噪，在测试时细化视点。实际实验在不断变化的视点下表明，EgoAVFlow consistently优于先前的人类演示基线，有效维持可见性并实现稳健的操纵，无需机器人演示。
引用
@article{arxiv.2602.22461,
title = {EgoAVFlow: Robot Policy Learning with Active Vision from Human Egocentric Videos via 3D Flow},
author = {Daesol Cho and Youngseok Jang and Danfei Xu and Sehoon Ha},
journal= {arXiv preprint arXiv:2602.22461},
year = {2026}
}