你知道你的相机在哪吗？基于相机条件化的视角不变策略学习
机器人学
2025-10-03 v1 计算机视觉与模式识别
摘要
我们通过显式地将策略以相机外参为条件来研究视角不变的模仿学习。使用每像素射线的 Plucker 嵌入，我们表明以外参为条件显著改善了标准行为克隆策略的跨视角泛化能力，包括 ACT、Diffusion Policy 和 SmolVLA。为了评估在现实视角偏移下的策略鲁棒性，我们在 RoboSuite 和 ManiSkill 中引入了六个操作任务，这些任务配对了“固定”和“随机化”的场景变体，将背景线索与相机位姿解耦。我们的分析表明，没有外参的策略通常利用固定场景中静态背景的视觉线索来推断相机位姿；当工作空间几何形状或相机位置发生偏移时，这种捷径就会失效。以外参为条件恢复了性能，并在无需深度信息的情况下产生了鲁棒的纯 RGB 控制。我们在 https://ripl.github.io/know_your_camera/ 发布了任务、演示和代码。
引用
@article{arxiv.2510.02268,
title = {Do You Know Where Your Camera Is? View-Invariant Policy Learning with Camera Conditioning},
author = {Tianchong Jiang and Jingtian Ji and Xiangshan Tan and Jiading Fang and Anand Bhattad and Vitor Guizilini and Matthew R. Walter},
journal= {arXiv preprint arXiv:2510.02268},
year = {2025}
}
备注
Code and project materials are available at ripl.github.io/know_your_camera