面向域不变自监督学习的批次风格标准化
计算机视觉与模式识别
2024-01-22 v6
摘要
在自监督学习（SSL）中，模型通常在同一域上进行预训练、微调与评估。然而，当在未见域上评估时，它们往往表现不佳，这是无监督域泛化（UDG）试图解决的挑战。当前的UDG方法依赖于域标签（通常难以收集）以及特定于域的架构（在面对众多域时缺乏可扩展性），使得现有方法不切实际且僵化。受基于对比的UDG方法通过限制同域样本间比较来减轻伪相关性的启发，我们假设消除批次内的风格变异性可提供一种更便捷灵活的方式来减少伪相关性，且无需域标签。为验证该假设，我们提出批次风格标准化（BSS），一种相对简单却强大的基于傅里叶的方法，用于标准化批次内图像风格，专为与SSL方法集成以应对UDG而设计。将BSS与现有SSL方法结合相较先前UDG方法具有显著优势：（1）它消除了对域标签或特定域网络组件的需求，以增强SSL表示的域不变性；（2）具有灵活性，因BSS可无缝集成于多种基于对比及非基于对比的SSL方法。在多个UDG数据集上的实验表明，它显著提升了未见域上下游任务性能，常优于或媲美UDG方法。最后，本工作阐明了促成BSS在提升SSL表示域不变性及未见域性能方面有效性的潜在机制。
引用
@article{arxiv.2303.06088,
title = {Towards domain-invariant Self-Supervised Learning with Batch Styles Standardization},
author = {Marin Scalbert and Maria Vakalopoulou and Florent Couzinié-Devy},
journal= {arXiv preprint arXiv:2303.06088},
year = {2024}
}
备注
Accepted at ICLR 2024