论非对称非对比学习中的监督有效性

监督对比表示学习已被证明在各种迁移学习场景中有效。然而，尽管非对称非对比学习（ANCL）在自监督表示学习中通常优于其对比学习对应物，但ANCL向监督场景的扩展却鲜有探索。为弥补这一差距，我们研究了用于监督表示学习的ANCL，命名为SupSiam和SupBYOL，利用ANCL中的标签以获得更好的表示。所提出的监督ANCL框架改进了表示学习，同时避免了坍塌。我们的分析表明，向ANCL提供监督会减少类内方差，并且应调整监督的贡献以达到最佳性能。实验证明了监督ANCL在各种数据集和任务上的优越性。代码可在 https://github.com/JH-Oh-23/Sup-ANCL 获取。