基于显式聚类平衡的高效无监督视觉表征学习

无监督学习最近已成为跨模态和同模态预训练领域的首选方法，取得了显著的效果。特别是在图像领域，基于组(或聚类)判别的方法取得了最佳成果。然而，这类方法需要警惕聚类分配的严重不平衡，以防止退化为平凡解。现有方法通常通过重新加权聚类分配以实现平衡，或采用离线操作(如定期重新聚类)以防止退化。然而，前者通常需要较大的 batch 大小，导致资源需求增加；后者则在大数据集上存在可扩展性问题。本文提出了 ExCB 框架，通过一种新颖的聚类平衡方法来解决此问题。ExCB 通过估计跨 batch 的聚类相对大小，并按其相对大小比例在线方式调整聚类分配来实现平衡。从而克服了以往方法对大 batch 大小的依赖，完全在线，因而可扩展至任何数据集。我们进行了大量实验来评估该方法，证明 ExCB：a) 以显著降低的资源要求实现了与先前工作相比的最先进效果，b) 完全在线，因此可扩展至大型数据集，c) 即使在 very 小的 batch 大小下也稳定有效。