零消失法夸大了 DINO 视觉 Transformer 中寄存器内容依赖性
计算机视觉与模式识别
2026-04-17 v1 机器学习
摘要
零消失法（zero-ablation）——用零向量替换 token 激活——在探针视觉 Transformer 中广泛用于探测 token 功能。DINOv2+寄存器和 DINOv3 的寄存器零化会产生显著下降（最高达 -36.6 百分点分类， -30.9 百分点分割），表明寄存器在功能上至关重要。然而，三种替换控制——均值替换、噪声替换和跨图像寄存器随机化——在分类、对应和分割方面均保持性能，仅略低于未修改的基线约 1 百分点。按 patch 计算余弦相似度显示，这些替换确实扰动了内部表示，而零化导致的扰动则显著不成比例，这正是其单独导致任务下降的原因。我们得出结论，零消失法夸大了对精确寄存器内容的依赖。在冻结特征评估中，表现依赖于合理的类似寄存器的激活，而非具体的图像相关值。尽管如此，寄存器仍然缓冲了来自 [CLS] 的稠密特征，并与压缩的 patch 几何相关联。这些发现，包括替换控制结果，在 ViT-B 规模上也得到复制。
引用
@article{arxiv.2604.14433,
title = {Zero-Ablation Overstates Register Content Dependence in DINO Vision Transformers},
author = {Felipe Parodi and Jordan Matelsky and Melanie Segado},
journal= {arXiv preprint arXiv:2604.14433},
year = {2026}
}
备注
12 pages, 10 figures, to be published in CVPR 2026 HOW Vision Interpretability Workshop Proceedings