FrameNet：从单张 RGB 图像学习三维曲面的局部规范坐标系
计算机视觉与模式识别
2019-04-01 v1
摘要
在本工作中，我们提出从单张 RGB 图像识别稠密规范三维坐标系这一新问题。我们观察到，图像中每个像素对应于底层三维几何中的一个曲面，其中可确定一个规范坐标系，由三个相互正交的轴表示：一个沿其法向，两个位于其切平面内。我们提出一种从 RGB 预测这些轴的算法。我们的第一个洞见是，利用近期引入的方向场合成方法自动计算的规范坐标系可为该任务提供训练数据。我们的第二个洞见是，为表面法向预测设计的网络在联合训练预测规范坐标系时结果更好，而在同时训练预测规范坐标系的二维投影时结果更佳。我们推测这是因为规范切向的投影常与图像中的局部梯度对齐，且这些方向通过投影几何与正交约束与三维规范坐标系紧密关联。在我们的实验中，我们发现我们的方法预测的三维规范坐标系可用于从表面法向估计、特征匹配到增强现实等一系列应用。
引用
@article{arxiv.1903.12305,
title = {FrameNet: Learning Local Canonical Frames of 3D Surfaces from a Single RGB Image},
author = {Jingwei Huang and Yichao Zhou and Thomas Funkhouser and Leonidas Guibas},
journal= {arXiv preprint arXiv:1903.12305},
year = {2019}
}