作为 von Mises-Fisher 混合模型的 DINO
机器学习
2024-05-20 v1 人工智能
计算机视觉与模式识别
摘要
使用 Siamese 网络的自蒸馏方法在自监督预训练中很受欢迎。DINO 就是这样一种方法，它基于表示与学习到的原型之间点积应用 softmax 函数后得到的 维概率向量之间的交叉熵损失。鉴于学习到的表示是 归一化的，我们证明 DINO 及其衍生方法（如 iBOT）可以被解释为具有 von Mises-Fisher 分量的混合模型。基于此解释，当原型也经过 归一化时，DINO 假设所有分量具有相等的精度。利用这一见解，我们提出了 DINO-vMF，它在计算聚类分配概率时加入了适当的归一化常数。与 DINO 不同，DINO-vMF 对于具有未归一化原型的较大 ViT-Base 模型同样保持稳定。我们表明，混合模型增加的灵活性有利于获得更好的图像表示。DINO-vMF 预训练模型在一系列下游任务上的表现始终优于 DINO。我们在 iBOT-vMF 与 iBOT 的对比中也获得了类似的提升，从而证明了我们提出的修改对于其他源自 DINO 的方法同样具有相关性。
引用
@article{arxiv.2405.10939,
title = {DINO as a von Mises-Fisher mixture model},
author = {Hariprasath Govindarajan and Per Sidén and Jacob Roll and Fredrik Lindsten},
journal= {arXiv preprint arXiv:2405.10939},
year = {2024}
}
备注
Accepted to ICLR 2023