关于 DINO 系列自监督方法中部分原型坍缩现象的研究

Hariprasath Govindarajan; Per Sidén; Jacob Roll; Fredrik Lindsten

关于 DINO 系列自监督方法中部分原型坍缩现象的研究

机器学习 2024-10-21 v1 人工智能计算机视觉与模式识别

作者: Hariprasath Govindarajan , Per Sidén , Jacob Roll , Fredrik Lindsten

摘要

一种突出的自监督学习范式是将表示建模为聚类，或更一般地作为混合模型。通过学习将数据样本映射到紧凑表示并拟合混合模型，导致表示坍缩问题。正则化数据点在聚类上的分布是避免此问题的主流策略。虽然这足以防止完全表示坍缩，但我们展示了在 DINO 系列方法中仍存在部分原型坍缩问题，这会导致原型显著冗余。这些原型冗余可作为方法实现潜在类分布匹配指定先验条件的捷径。我们表明，通过鼓励模型使用多样化原型，可以缓解部分原型坍缩。有效利用原型可使方法学习更细粒度的聚类，鼓励更具信息性的表示。我们演示了这在预训练长尾细粒度数据集时尤其有益。

关键词

自监督学习原型坍缩 DINO 聚类表示学习

引用

@article{arxiv.2410.14060,
  title  = {On Partial Prototype Collapse in the DINO Family of Self-Supervised Methods},
  author = {Hariprasath Govindarajan and Per Sidén and Jacob Roll and Fredrik Lindsten},
  journal= {arXiv preprint arXiv:2410.14060},
  year   = {2024}
}

备注

First version of the paper appeared in OpenReview on 22 Sep 2023. Accepted to BMVC 2024

关于 DINO 系列自监督方法中部分原型坍缩现象的研究

摘要

关键词

引用

备注

相关论文