MvDeCor：面向细粒度 3D 分割的多视图稠密对应学习
计算机视觉与模式识别
2022-08-19 v1 人工智能
图形学
摘要
我们提出将 2D 领域的自监督技术用于细粒度 3D 形状分割任务。其灵感来自于如下观察：基于视图的表面表示比基于点云或体素占用的 3D 对应表示更能有效地建模高分辨率表面细节与纹理。具体而言，给定一 3D 形状，我们从多视图渲染它，并在对比学习框架内设立稠密对应学习任务。结果，学到的 2D 表示具有视图不变性与几何一致性，相较于单独在 2D 或 3D 中使用自监督的替代方法，在有限数量标注形状上训练时具有更好的泛化性。在带纹理（RenderPeople）与无纹理（PartNet）3D 数据集上的实验表明，我们的方法在细粒度部件分割上优于最先进的替代方法。当仅可用稀疏视图集进行训练或形状带纹理时，相对基线的提升更大，表明 MvDeCor 同时受益于 2D 处理与 3D 几何推理。
引用
@article{arxiv.2208.08580,
title = {MvDeCor: Multi-view Dense Correspondence Learning for Fine-grained 3D Segmentation},
author = {Gopal Sharma and Kangxue Yin and Subhransu Maji and Evangelos Kalogerakis and Or Litany and Sanja Fidler},
journal= {arXiv preprint arXiv:2208.08580},
year = {2022}
}
备注
project page: https://nv-tlabs.github.io/MvDeCor/