DOS：基于Zipfian原型可观测软图蒸馏的自监督点表示学习
计算机视觉与模式识别
2025-12-15 v1 机器学习
摘要
最近的自监督学习(SSL)进展显示出巨大的潜力，用于在没有人工标注的情况下学习3D点云表示。然而，SSL for 3D点云仍面临由于几何不规则、重建容易受捷径和语义分布不平衡等关键挑战。本文提出DOS(Distilling Observable Softmaps)，一个新的自监督框架，通过仅在可观测(未遮盖)点上自蒸馏语义相关软图。该策略防止了来自遮盖区域的信息泄露，并提供比离散token到原型分配更丰富的监督。为了解决在无监督设置下语义不平衡的挑战，我们引入Zipfian原型，并通过修改的Sinkhorn-Knopp算法(Zipf-Sinkhorn)实现，将其纳入其中，该算法在原型使用上强制执行幂律先验，并在训练期间调制目标软图的锐度。DOS在语义分割和3D目标检测上均超过当前最先进的方法，包括nuScenes、Waymo、SemanticKITTI、ScanNet和ScanNet200，无需额外数据或标注。我们的结果表明，可观测点软图蒸馏为学习稳健的3D表示提供了可扩展且有效的方法。
引用
@article{arxiv.2512.11465,
title = {DOS: Distilling Observable Softmaps of Zipfian Prototypes for Self-Supervised Point Representation},
author = {Mohamed Abdelsamad and Michael Ulrich and Bin Yang and Miao Zhang and Yakov Miron and Abhinav Valada},
journal= {arXiv preprint arXiv:2512.11465},
year = {2025}
}
备注
AAAI-26