NAF：基于邻域注意力滤波的零样本特征上采样
计算机视觉与模式识别
2025-11-25 v1
摘要
视觉基础模型（VFMs）提取空间下采样的表示，给像级任务带来挑战。现有上采样方法面临根本性权衡：经典滤波器快速且适用范围广，但依赖固定形式；而现代上采样器通过可学习的、针对 VFM 的特定形式实现却牺牲了通用性，需要为每个 VFM 重新训练。我们引入邻域注意力滤波（NAF），通过 Cross-Scale Neighborhood Attention 和旋转位置编码（RoPE）学习自适应的空间与内容权重，仅依据高分辨率输入图像引导，实现从无训练到上采样特征，从而成为首个无需 retraining 即可超越 VFM-specific 上采样器并在多个下游任务中实现 SOTA 的 VFM-agnostic 架构。它保持高度效率，支持 2K 特征图，帧率达 18 FPS。除了特征上采样，NAF 在图像修复任务中也表现出色，凸显其广泛性。代码和模型权重已发布于 https://github.com/valeoai/NAF。
引用
@article{arxiv.2511.18452,
title = {NAF: Zero-Shot Feature Upsampling via Neighborhood Attention Filtering},
author = {Loick Chambon and Paul Couairon and Eloi Zablocki and Alexandre Boulch and Nicolas Thome and Matthieu Cord},
journal= {arXiv preprint arXiv:2511.18452},
year = {2025}
}
备注
Code: https://github.com/valeoai/NAF