NT-Xent损失的上界
机器学习
2022-05-09 v1
摘要
自监督学习是深度表示学习中一个日益发展的范式，在少标签数据情形下展现出强大的泛化能力和有竞争力的性能。SimCLR 框架提出了用于对比表示学习的 NT-Xent 损失。该损失函数的目标是最大化采样正样本对之间的一致性（相似性）。这篇短文推导并提出了该损失和平均相似性的一个上界。不过我们未提供对相应含义的分析，但强烈鼓励该领域的任何人进行此分析。
引用
@article{arxiv.2205.03169,
title = {The NT-Xent loss upper bound},
author = {Wilhelm Ågren},
journal= {arXiv preprint arXiv:2205.03169},
year = {2022}
}