进入兔子舱：从 DINO 的任务相关概念到闵氏几何

DINOv2 被广泛用于识别物体、场景和动作；然而其感知的本质仍是未知的。作为工作基线，我们采用线性表示假设（LRH），并使用 SAE 实现，将其转化为一个由 32,000 单元构成的字典，作为本研究可解释性的基础。我们的研究分为三个部分。第一部分，我们分析了不同下游任务如何从学习的字典中招募概念，揭示功能专化：分类利用“Elsewhere”概念，这些概念在目标对象之外的地方激活，从而实现学习的否定；分割依赖边界检测器形成连贯的子空间；深度估计基于三种单目深度线索，这些线索与视觉神经科学原理相匹配。随后，我们分析了 SAE 学习的概念的几何和统计特征。我们发现表示是部分稠密的，而非严格稀疏。字典向更高的连贯性发展，并偏离最大正交理想（Grassmannian 帧）。在图像内部，标记在低维、局部连通的集合中，这一集合在移除位置后仍然持久。这些迹象表明，表示的组织超越了线性稀疏性alone。综合这些观察，我们提出了一种 refined 的观点：标记是由组合原型（例如，兔子作为动物中的一种，棕色作为颜色中的一种，绒毛作为纹理中的一种）的凸组合形成的。这种结构植根于 Gardenfors 的概念空间，并植根于模型机制，因为多头注意力产生凸组合的和，定义由原型边界构成的区域。我们引入闵氏表示假设（MRH），并检验其经验信号及其对解释视觉变换器表示的含义。