墙上的又一块 BRIXEL：迈向更低成本的稠密特征
计算机视觉与模式识别
2026-04-13 v2 机器学习
摘要
视觉基础模型在全局和局部稠密下游任务上均取得了强劲的性能。近期 DINOv3 模型族在大规模图像上进行预训练，能够生成非常细粒度的稠密特征图，实现了 SOTA 的性能。然而，由于 Transformer 架构的平方复杂度，计算这些特征图要求输入图像具有极高的分辨率，并消耗大量计算资源。为了解决这些问题，我们提出了 BRIXEL，一种简单的知识蒸馏方法，使学生模型学习在更高分辨率下复现自身的特征图。尽管方法简单，在分辨率保持固定的情况下，BRIXEL 在下游任务上以大幅优势优于基线 DINOv3 模型。我们还将 BRIXEL 应用于其他近期的稠密特征提取器，结果表明该方法在各个模型族上均带来了显著的性能提升。代码和模型权重可在 https://github.com/alexanderlappe/BRIXEL 获取。
引用
@article{arxiv.2511.05168,
title = {Another BRIXEL in the Wall: Towards Cheaper Dense Features},
author = {Alexander Lappe and Martin A. Giese},
journal= {arXiv preprint arXiv:2511.05168},
year = {2026}
}