MaskedFusion360：通过查询相机特征重建 LiDAR 数据
计算机视觉与模式识别
2023-06-13 v1 机器人学
摘要
在自动驾驶应用中，LiDAR 数据提供精确的 3D 距离信息，但缺乏相机数据的语义丰富性。因此，城市场景感知的最优方法融合了这两种传感器的数据。本文中，我们引入一种新颖的自监督方法来融合 LiDAR 与相机数据以用于自动驾驶应用。我们基于掩码自编码器（MAEs）构建，并训练深度学习模型从融合的 LiDAR 与相机特征中重建被掩码的 LiDAR 数据。与采用鸟瞰图表示的相关方法不同，我们融合来自稠密球面 LiDAR 投影的特征与具有相似视场的鱼眼相机裁剪特征。因此，我们将学习的空间变换简化为适度的透视变换，且不需要额外模块来生成稠密 LiDAR 表示。代码见：https://github.com/KIT-MRT/masked-fusion-360
引用
@article{arxiv.2306.07087,
title = {MaskedFusion360: Reconstruct LiDAR Data by Querying Camera Features},
author = {Royden Wagner and Marvin Klemp and Carlos Fernandez Lopez},
journal= {arXiv preprint arXiv:2306.07087},
year = {2023}
}
备注
Technical report, 6 pages, 4 figures, accepted at ICLR 2023 Tiny Papers