失败模式三元组及其一种可能的解决途径
机器学习
2023-10-23 v1 人工智能
计算机视觉与模式识别
摘要
我们提出了一种用于基于聚类的自监督学习（SSL）的新目标函数，旨在规避三元组失败模式，即表示崩溃、聚类崩溃以及对聚类分配置换不变性的问题。该目标函数由三个关键部分组成：（i）惩罚表示崩溃的生成项，（ii）促进对数据增强不变性的项，从而解决标签置换问题，以及（iii）惩罚聚类崩溃的均匀性项。此外，我们提出的目标函数具有两个显著优势。首先，它可以从贝叶斯视角解释为数据对数似然的下界。其次，它能够训练标准主干架构，而无需停止梯度、动量编码器或专用聚类层等非对称元素。由于其简单性和理论基础，我们提出的目标函数非常适合优化。在玩具数据和真实世界数据上的实验证明了其有效性。
引用
@article{arxiv.2309.15420,
title = {The Triad of Failure Modes and a Possible Way Out},
author = {Emanuele Sansone},
journal= {arXiv preprint arXiv:2309.15420},
year = {2023}
}
备注
Some sentences in the Background Section are overlapping with Section 2 in arXiv:2304.11357 However, the main technical content and all other sections are different