用于自监督学习的概率对比损失
机器学习
2021-12-06 v1
摘要
本文提出了一种用于自监督学习的概率对比损失函数。众所周知的对比损失是确定性的，并涉及一个温度超参数，该超参数对两个归一化特征嵌入之间的内积进行缩放。通过将温度超参数重新解释为与超球面半径相关的量，我们推导出一种新损失函数，其包含一个以数学上严谨的方式量化不确定性的置信度度量。我们经验性地展示了所提损失函数的一些引人注目的性质，这些性质与人类似的预测相符。我们相信本工作为对比学习领域带来了新的前景。
引用
@article{arxiv.2112.01642,
title = {Probabilistic Contrastive Loss for Self-Supervised Learning},
author = {Shen Li and Jianqing Xu and Bryan Hooi},
journal= {arXiv preprint arXiv:2112.01642},
year = {2021}
}