E3D：基于事件的 3D 形状重建
计算机视觉与模式识别
2020-12-11 v2
摘要
3D 形状重建是增强/虚拟现实的一个基本组成部分。尽管基于 RGB、RGB-D 与 Lidar 传感器的现有方案已高度先进，但它们功耗与数据密集，这给在边缘设备上的部署带来了挑战。我们采用事件相机进行 3D 重建，该传感器具有显著更低的功耗、延迟与数据开销，同时支持高动态范围。先前的基于事件的 3D 重建方法主要基于立体视觉，我们则将问题转化为使用单目事件相机的多视角轮廓形状重建。移动事件相机的输出是一组稀疏的时空梯度点集，主要勾勒场景/物体边缘与轮廓。我们首先引入一个事件到轮廓（E2S）神经网络模块，将一叠事件帧转换为相应轮廓，并带有用于相机位姿回归的额外神经分支。其次，我们引入 E3D，其采用一个 3D 可微渲染器（PyTorch3D）来强制跨视角 3D 网格一致性并微调 E2S 与位姿网络。最后，我们引入一个 3D 到事件仿真流水线，将其应用于公开可用的物体数据集并生成合成事件/轮廓训练对用于监督学习。
引用
@article{arxiv.2012.05214,
title = {E3D: Event-Based 3D Shape Reconstruction},
author = {Alexis Baudron and Zihao W. Wang and Oliver Cossairt and Aggelos K. Katsaggelos},
journal= {arXiv preprint arXiv:2012.05214},
year = {2020}
}
备注
Correct author names and only include primary author email