将自监督表示适配至多域设置
计算机视觉与模式识别
2023-12-14 v2 机器学习
摘要
当前最先进的自监督方法在单个域上训练时有效，但在未见域上泛化能力有限。我们观察到这些模型即使在混合域上训练时也泛化不佳，使其不适合部署于多样化的真实世界设置中。因此我们提出一种通用、轻量的域解耦模块（DDM），可插入任意自监督编码器中，以在多个多样域上（无论是否有共享类别）有效地进行表示学习。在依据自监督损失进行预训练时，DDM通过将表示空间拆分为域变异部分与域不变部分来强制解耦。当域标签不可用时，DDM使用鲁棒聚类方法发现伪域。我们表明，在包括PACS、DomainNet和WILDS的多域基准上，使用DDM预训练可使包括SimCLR、MoCo、BYOL、DINO、SimSiam和Barlow Twins在内的先进自监督模型的线性探测准确率提升高达3.5%。与基线相比，用DDM训练的模型对未见域的泛化（7.4%）显著改善。因此，DDM可高效适配自监督编码器，为多样多域数据提供高质量、可泛化的表示。
引用
@article{arxiv.2309.03999,
title = {Adapting Self-Supervised Representations to Multi-Domain Setups},
author = {Neha Kalibhat and Sam Sharpe and Jeremy Goodsitt and Bayan Bruss and Soheil Feizi},
journal= {arXiv preprint arXiv:2309.03999},
year = {2023}
}
备注
Published at BMVC 2023