超球面一致性正则化

对比学习的最新进展启发了其在各类半监督领域的多样应用。以共享特征编码器联合训练监督学习与无监督学习已成为一种常见方案。尽管该方案得益于同时利用自监督学习的特征依赖信息与监督学习的标签依赖信息，其仍受分类器偏置的困扰。本工作中，我们系统性地探究自监督学习与监督学习之间的关系，并研究自监督学习如何助力鲁棒的数据高效深度学习。我们提出超球面一致性正则化（HCR），一种简单而有效的即插即用方法，利用特征依赖信息对分类器进行正则化，从而避免来自标签的偏置。具体而言，HCR 首先将分类器的 logits 与投影头的特征投影分别投影到各自超球面，随后通过最小化成对距离相似度度量的二元交叉熵，强制超球面上的数据点具有相似结构。在半监督与弱监督学习上的大量实验表明了我们的方法的有效性，HCR 展现出优越性能。