无温度参数的对比学习损失函数
机器学习
2025-01-30 v1
摘要
对比学习作为自监督学习中最具前景的方法，已在诸多领域取得一系列突破。实现对比学习的主要方法是应用 InfoNCE 损失：通过捕捉成对之间的相似性，InfoNCE 损失能够实现对数据的表征学习。尽管其成功虽多，但采用 InfoNCE 损失需要调节温度参数，而这一温度是校准相似性得分的核心超参数。尽管尽管多项研究强调其重要性与对性能的敏感性，但寻找有效的温度参数需要进行大量的试错式实验，这增加了采用 InfoNCE 损失的难度。为解决这一困难，我们提出了一种无需温度参数即可部署 InfoNCE 损失的新方法。具体而言，我们用反双曲正切函数取代温度缩放，从而得到修改后的 InfoNCE 损失。除了无超参数部署之外，我们还观察到该方法在对比学习中甚至带来了性能提升。我们的详细理论分析发现，当前在 InfoNCE 损失中采用温度缩放的做法会在梯度下降中引起严重问题，而我们的方法则具有理想的梯度特性。我们在对比学习的五个基准测试上验证了所提方法，能够在无需温度调优的情况下获得令人满意的结果。
关键词
引用
@article{arxiv.2501.17683,
title = {Temperature-Free Loss Function for Contrastive Learning},
author = {Bum Jun Kim and Sang Woo Kim},
journal= {arXiv preprint arXiv:2501.17683},
year = {2025}
}
备注
10 pages, 5 figures