基于自适应温度控制的对比学习领域泛化提升方法
机器学习
2026-01-13 v1 人工智能
摘要
自监督预训练中的对比学习是从稀疏标注数据中学习的强大方法，但当数据分布从训练时移至测试时时，性能会显著下降。我们研究了这种现象：训练数据来自多个领域，而测试数据来自未见过的领域且存在显著协变量偏移。我们提出一种新的对比学习方法，融合领域标签以增加学习特征的领域不变性，从而提升跨域泛化性能。该方法通过调整 InfoNCE 损失中的温度参数——该参数控制负样本对的相对权重——实现自适应控制。具体做法是依据负样本是否来自与锚�样本相同领域的概率调整温度，从而提高来自相似领域的样本对权重，鼓励模型基于领域不变属性对样本进行判别。通过在 MNIST 数据集的变体上进行实验，我们展示该方法在跨域性能上优于领域泛化基线。此外，该方法在保持强大领域内任务性能方面表现突出，显著优于基线方法。
关键词
引用
@article{arxiv.2601.07748,
title = {Improving Domain Generalization in Contrastive Learning using Adaptive Temperature Control},
author = {Robert Lewis and Katie Matton and Rosalind W. Picard and John Guttag},
journal= {arXiv preprint arXiv:2601.07748},
year = {2026}
}
备注
NeurIPS SSL Workshop 2023