SGRec3D：基于对象级场景重建的自监督3D场景图学习
计算机视觉与模式识别
2023-11-07 v2
摘要
在3D场景理解领域，3D场景图作为一种结合物体及其关系的几何与语义信息的新场景表示崭露头角。然而，以全监督方式学习语义3D场景图 inherently困难，因其不仅需要对象级标注还需关系标签。尽管预训练方法助推了多领域诸多方法性能，针对3D场景图预测的预训练鲜受关注。此外，本文发现经典基于对比点云的预训练方法对3D场景图学习无效。为此，我们提出SGRec3D，一种用于3D场景图预测的新型自监督预训练方法。我们提议以从图瓶颈重建3D输入场景作为 pretext task。SGRec3D预训练不需对象关系标签，使利用大规模3D场景理解数据集成为可能，而此前这些数据集对3D场景图学习不可用。实验表明，相较于近期基于点云的预训练方法，所提预训练显著改善3D场景图预测，取得SOTA性能，在对象预测上以+10%、关系预测上以+4%优于其他3D场景图模型。另外，我们展示仅在微调中使用10%标注数据子集即足以优于无预训练的同模型。
引用
@article{arxiv.2309.15702,
title = {SGRec3D: Self-Supervised 3D Scene Graph Learning via Object-Level Scene Reconstruction},
author = {Sebastian Koch and Pedro Hermosilla and Narunas Vaskevicius and Mirco Colosi and Timo Ropinski},
journal= {arXiv preprint arXiv:2309.15702},
year = {2023}
}
备注
WACV 2024, Project page: https://kochsebastian.com/sgrec3d