Template NeRF：从类别特定物体图像建模稠密形状对应
计算机视觉与模式识别
2021-11-09 v1
摘要
我们提出带模板的神经辐射场（NeRF），称为 Template-NeRF，用于从仅有多视角位姿图像中同时建模同类物体的外观与几何并生成稠密形状对应，无需 3D 监督或真值对应知识。学习到的稠密对应可直接用于各种基于图像的任务，如关键点检测、部件分割和纹理迁移，这些任务以往需要特定的模型设计。我们的方法还能以单样本或少样本方式适应标注迁移，仅需该类别的一个或少数几个实例。利用周期激活与特征线性调制（FiLM）条件化，我们将 3D 数据上的深度隐式模板引入 3D 感知图像合成流水线 NeRF。通过将同一类别中的物体实例表示为共享 NeRF 模板的形状与外观变化，我们提出的方法能够对广泛物体类别的图像实现稠密形状对应推理。我们在合成与真实数据上展示了结果与应用，相较于其他基于 3D 信息的方法取得了有竞争力的结果。
引用
@article{arxiv.2111.04237,
title = {Template NeRF: Towards Modeling Dense Shape Correspondences from Category-Specific Object Images},
author = {Jianfei Guo and Zhiyuan Yang and Xi Lin and Qingfu Zhang},
journal= {arXiv preprint arXiv:2111.04237},
year = {2021}
}
备注
10 pages, 8 figures