WALT3D：从延时图像生成逼真训练数据以重建遮挡条件下的动态物体
计算机视觉与模式识别
2024-04-03 v2
摘要
当前用于 2D 和 3D 物体理解的方法在繁忙的城市环境中难以应对严重的遮挡，部分原因是缺乏用于学习遮挡的大规模标注真值。在这项工作中，我们引入了一个新颖的框架，利用免费可用的延时图像自动生成包含遮挡动态物体的大规模逼真数据集。通过利用现成的 2D（边界框、分割、关键点）和 3D（姿态、形状）预测作为伪真值，自动识别未遮挡的 3D 物体并以剪贴画风格将其合成到背景中，确保逼真的外观和物理准确的遮挡配置。生成的带有伪真值的剪贴画图像能够高效训练对遮挡具有鲁棒性的物体重建方法。我们的方法在 2D 和 3D 重建中均展现出显著改进，特别是在城市场景中车辆和行人等严重遮挡物体的场景下。
引用
@article{arxiv.2403.19022,
title = {WALT3D: Generating Realistic Training Data from Time-Lapse Imagery for Reconstructing Dynamic Objects under Occlusion},
author = {Khiem Vuong and N. Dinesh Reddy and Robert Tamburo and Srinivasa G. Narasimhan},
journal= {arXiv preprint arXiv:2403.19022},
year = {2024}
}
备注
To appear in CVPR 2024. Homepage: https://www.cs.cmu.edu/~walt3d