IDEA-Net：基于深度嵌入对齐的动态三维点云插值
计算机视觉与模式识别
2022-03-23 v1 人工智能
摘要
本文研究了具有大非刚性形变的动态三维点云的时间插值问题。我们将该问题表述为逐点轨迹（即平滑曲线）的估计，并进一步推论时间不规则性和欠采样是两个主要挑战。为了应对这些挑战，我们提出了 IDEA-Net，一个端到端的深度学习框架，它在显式学习到的时间一致性的辅助下解耦了该问题。具体而言，我们提出了一个时间一致性学习模块来逐点对齐两个连续的点云帧，基于此我们可以采用线性插值来获得粗略的轨迹/中间帧。为了补偿轨迹的高阶非线性分量，我们应用编码局部几何属性的对齐特征嵌入来回归逐点增量，并将其与粗略估计相结合。我们在各种点云序列上证明了我们方法的有效性，并在定量和视觉上观察到相较于 SOTA 方法有巨大提升。我们的框架能为三维运动数据采集带来益处。源代码公开于 https://github.com/ZENGYIMING-EAMON/IDEA-Net.git。
引用
@article{arxiv.2203.11590,
title = {IDEA-Net: Dynamic 3D Point Cloud Interpolation via Deep Embedding Alignment},
author = {Yiming Zeng and Yue Qian and Qijian Zhang and Junhui Hou and Yixuan Yuan and Ying He},
journal= {arXiv preprint arXiv:2203.11590},
year = {2022}
}
备注
This paper was accepted by CVPR 2022