中文

面向 LiDAR 仿真的点云生成器 PCGen

计算机视觉与模式识别 2022-10-18 v1 人工智能 多媒体

摘要

数据是 LiDAR 感知系统的基本基石。遗憾的是,真实世界的数据采集与标注极其昂贵且费力。近来,基于真实数据的 LiDAR 模拟器相比基于图形引擎的方法,因其可扩展性与高保真度,已展现出巨大潜力以补充真实数据。在模拟部署至真实世界前,需解决两点不足。其一,现有方法因三维重建误差与纯基于几何的射线投射,生成的数据通常比真实点云更噪声化且更完整。其二,先前面向目标检测的仿真工作仅关注刚体(如汽车),而行人等弱势道路使用者(VRU)亦是重要道路参与者。为应对第一重挑战,我们提出 FPA 射线投射与代理模型 raydrop。FPA 在考虑重建噪声的同时,可仿真点云坐标与传感器特征;逐射线代理 raydrop 模型模仿 LiDAR 激光接收器的物理特性,以判定模拟点是否会被真实 LiDAR 记录。仅需极少训练数据,该代理模型即可泛化至不同地域与场景,缩小射线投射与真实点云间的域差距。为应对可变形 VRU 仿真,我们采用 SMPL 数据集提供行人仿真基线,并比较 CAD 与重建物体间的域差距。将我们的流程应用于新型传感器合成,结果表明由仿真数据训练的目标检测模型可达到与真实数据训练模型相近的效果。

关键词

引用

@article{arxiv.2210.08737,
  title  = {Temporal and Contextual Transformer for Multi-Camera Editing of TV Shows},
  author = {Anyi Rao and Xuekun Jiang and Sichen Wang and Yuwei Guo and Zihao Liu and Bo Dai and Long Pang and Xiaoyu Wu and Dahua Lin and Libiao Jin},
  journal= {arXiv preprint arXiv:2210.08737},
  year   = {2022}
}

备注

Extended Abstract of ECCV 2022 Workshop on AI for Creative Video Editing and Understanding