基于前景感知特征对比的广义三维自监督学习框架
计算机视觉与模式识别
2023-12-04 v4
摘要
对比学习近期在三维场景理解任务的无监督预训练中展现出巨大潜力。然而,现有多数工作在构建对比时随机选取点特征作为锚点,导致明显偏向在三维场景中常占主导的背景点。同时,物体感知与前景-背景区分被忽视,使对比学习效果减弱。为解决这些问题,我们提出一种通用前景感知特征对比 FAC++ 框架,在预训练中学习更有效的点云表示。FAC++ 包含两种新颖对比设计以构建更有效且信息丰富的对比对。其一是同一前景片段内构建正对,其中点往往具有相同语义。其二是我们在三维片段/物体间防止过度区分,并在孪生对应网络中以自适应特征学习鼓励片段级分组的前景-背景区分,从而有效自适应学习点云视图内与跨视图的特征关联。此外,我们设计了前景提示区域采样以增强更均衡的前景感知学习,称为 FAC++。点激活图可视化显示我们的对比对在预训练期间捕捉到前景区域间的清晰对应。定量实验也表明 FAC++ 在各种下游三维语义分割、实例分割以及物体检测任务中实现更优的知识迁移与数据效率。所有代码、数据与模型见:https://github.com/KangchengLiu/FAC_Foreground_Aware_Contrast
引用
@article{arxiv.2303.06388,
title = {Generalized 3D Self-supervised Learning Framework via Prompted Foreground-Aware Feature Contrast},
author = {Kangcheng Liu and Xinhu Zheng and Chaoqun Wang and Kai Tang and Ming Liu and Baoquan Chen},
journal= {arXiv preprint arXiv:2303.06388},
year = {2023}
}
备注
International Journal of Computer Vision, Manuscript Info: 28 Pages, 14 Figures, and 11 Tables