向 SAM 学习：利用基础模型通过正则化实现 Sim2Real 自适应
计算机视觉与模式识别
2025-07-22 v4
摘要
域自适应对机器人应用尤为重要，因为目标域训练数据通常稀缺且标注获取成本高。我们提出一种自监督域自适应方法，适用于有标注源域数据（例如来自合成生成）可用但目标域数据完全无标注的场景。我们的方法针对语义分割任务，并利用分割基础模型（Segment Anything Model）在无标注数据上获取分割信息。我们从无监督局部特征学习的最新进展中获得启发，提出一种作用于检测到的分割块上的不变-方差损失，以正则化目标域中的特征表示。关键在于，该损失结构与网络架构可处理由 Segment Anything 产生的重叠分割块与过分割。我们在具挑战性的 YCB-Video 与 HomebrewedDB 数据集上展示了方法的优势，并表明其优于先前工作，且在 YCB-Video 上甚至优于用真实标注训练的网络。此外，我们通过模型消融提供洞见，并展示对自定义机器人应用的适用性。
引用
@article{arxiv.2309.15562,
title = {Learning from SAM: Harnessing a Foundation Model for Sim2Real Adaptation by Regularization},
author = {Mayara E. Bonani and Max Schwarz and Sven Behnke},
journal= {arXiv preprint arXiv:2309.15562},
year = {2025}
}
备注
Accepted for IEEE International Conference on Automation Science and Engineering (CASE) 2025. M. E. Bonani and M. Schwarz contributed equally