通过物理基础的主动立体传感器仿真缩小光学感知域差
机器人学
2023-01-09 v4
摘要
本文关注主动立体视觉深度传感器的仿真，该类传感器在学术界与工业界均很流行。受传感器底层机制启发，我们设计了一条完全物理基础的仿真流水线，包含材质获取、基于光线追踪的红外（IR）图像渲染、IR 噪声仿真以及深度估计。该流水线能够实时生成具有依赖于材质的误差模式、且与真实深度传感器相似深度图。我们开展真实实验表明，在我们仿真平台中训练的感知算法与强化学习策略无需任何微调即可良好迁移至真实世界测试用例。此外，由于该仿真具有高度真实感，我们的深度传感器仿真器可用作便捷测试床以评估真实世界中的算法性能，这将大幅减少开发机器人算法的人力。整个流水线已集成至 SAPIEN 仿真器并开源，以推动视觉与机器人社区的研究。
引用
@article{arxiv.2201.11924,
title = {Close the Optical Sensing Domain Gap by Physics-Grounded Active Stereo Sensor Simulation},
author = {Xiaoshuai Zhang and Rui Chen and Ang Li and Fanbo Xiang and Yuzhe Qin and Jiayuan Gu and Zhan Ling and Minghua Liu and Peiyu Zeng and Songfang Han and Zhiao Huang and Tongzhou Mu and Jing Xu and Hao Su},
journal= {arXiv preprint arXiv:2201.11924},
year = {2023}
}
备注
The paper will appear in the IEEE Transactions on Robotics. 20 pages, 14 figures, 10 tables