面向半监督三维目标检测的双视角知识增强
计算机视觉与模式识别
2024-01-11 v1
摘要
半监督三维目标检测是一个有前景但探索不足的方向，可降低数据标注成本，尤其对于杂乱的室内场景。少数先前工作，如 SESS 和 3DIoUMatch，尝试通过利用教师模型为无标签样本生成伪标签来解决此任务。然而，与二维领域相比，三维领域中无标签样本的可用性相对有限，因为收集三维数据需要付出更大努力。此外，SESS 中宽松的一致性正则化和 3DIoUMatch 中受限的伪标签选择策略导致监督质量低下或伪标签数量有限。为解决这些问题，我们提出了一种名为 DPKE 的新型双视角知识增强方法，用于半监督三维目标检测。我们的 DPKE 从两个视角——数据视角和特征视角——丰富有限训练数据（尤其是无标签数据）的知识。具体而言，从数据视角，我们提出了一种类别概率数据增强方法，该方法基于类别概率的变化分布，用额外实例增强输入数据。我们的 DPKE 通过设计一种几何感知特征匹配方法来实现特征视角的知识增强，该方法正则化学生模型和教师模型目标提议之间的特征级相似性。在两个基准数据集上的大量实验表明，我们的 DPKE 在各种标签比例条件下均取得了优于现有最先进方法的性能。源代码将向公众公开。
引用
@article{arxiv.2401.05011,
title = {Dual-Perspective Knowledge Enrichment for Semi-Supervised 3D Object Detection},
author = {Yucheng Han and Na Zhao and Weiling Chen and Keng Teck Ma and Hanwang Zhang},
journal= {arXiv preprint arXiv:2401.05011},
year = {2024}
}
备注
Code is available at https://github.com/tingxueronghua/DPKE