规范场:姿态规范化神经场的自监督学习
计算机视觉与模式识别
2023-05-18 v3
摘要
基于坐标的隐式神经网络,或称神经场,已成为三维计算机视觉中形状与外观的有用表征。然而尽管取得进展,对于缺乏如 ShapeNet 这类提供在三维位置与方向(姿态)上一致对齐的“规范化”对象实例的数据集的对象类别,构建神经场仍具挑战。我们提出规范场网络(CaFi-Net),一种自监督方法,用于将表示为神经场(具体为神经辐射场,NeRFs)的对象类别中实例的三维姿态规范化。CaFi-Net 利用连体网络架构直接从连续且含噪的辐射场中学习,该架构旨在提取用于类别级规范化的等变场特征。推理时,我们的方法接收任意三维姿态下新对象实例的预训练神经辐射场,并估计在整个类别上具有一致三维姿态的规范场。在一个包含 13 个对象类别共 1300 个 NeRF 模型的新数据集上的大量实验表明,我们的方法匹配或超越了基于三维点云的方法的性能。
引用
@article{arxiv.2212.02493,
title = {Canonical Fields: Self-Supervised Learning of Pose-Canonicalized Neural Fields},
author = {Rohith Agaram and Shaurya Dewan and Rahul Sajnani and Adrien Poulenard and Madhava Krishna and Srinath Sridhar},
journal= {arXiv preprint arXiv:2212.02493},
year = {2023}
}