面向分布偏移的异构相似度监督对比学习

分布偏移是指数据分布在训练和测试之间发生变化的问题，这会显著降低在现实世界中部署的模型的性能。近期研究表明，性能下降的一个原因是过拟合，而适当的正则化可以缓解这种下降，尤其是在使用神经网络等高表征能力的模型时。在本文中，我们提出了一种使用监督对比学习的新正则化方法，以防止这种过拟合并训练在分布偏移下性能不下降的模型。我们将对比损失中的余弦相似度扩展为更一般的相似度度量，并建议在将样本与正例或负例进行比较时在该度量中使用不同的参数，分析表明这起到了对比损失中一种间隔的作用。在模拟分布偏移（包括子群体偏移和领域泛化）的基准数据集上的实验表明，所提方法优于现有的正则化方法。