另一把BRIXEL在墙中： Towards Cheaper Dense Features
斑图形成与孤子
2025-11-12 v1 数学物理
math.MP
摘要
视觉基础模型在全球和局部稠密下游任务上均取得强大的性能。基于大图像预训练的近期DINOv3模型系列能够产生非常细粒度的稠密特征图，从而实现最先进的性能。然而，计算这些特征图需要输入图像以非常高的分辨率 available，并且由于Transformer架构的平方复杂度，需要大量计算资源。为此，我们提出了BRIXEL，这是一种简单的知识蒸馏方法，使得学生学习在更高分辨率下复现其自身的特征图。尽管方法简单，BRIXEL在保持分辨率固定的情况下，在下游任务上显著优于基线DINOv3模型。我们还将BRIXEL应用于其他最近的稠密特征提取器，显示其在不同模型家族中均可获得显著的性能提升。代码和模型权重均可在 https://github.com/alexanderlappe/BRIXEL 获取。
引用
@article{arxiv.2511.05167,
title = {Soliton dynamics and stability in the ABS spinor model with a PT-symmetric periodic potential},
author = {Franz G. Mertens and Bernardo Sánchez-Rey and Niurka R. Quintero},
journal= {arXiv preprint arXiv:2511.05167},
year = {2025}
}