UPLiFT：基于局部注意力器的高效像素密集特征上采样
计算机视觉与模式识别
2026-01-27 v1
摘要
任务无关的特征上采样空间已成为一个有前景的研究领域，旨在从预训练的视觉骨干网络中高效创建更密集的特征。这些方法通过学习将低分辨率特征映射到高分辨率版本，作为一种以极低成本获得密集特征的捷径。虽然该领域的早期工作使用迭代上采样方法，但最近的工作已转向基于交叉注意力的方法，这有可能陷入与其上采样的骨干网络相同的效率缩放问题。在这项工作中，我们证明迭代上采样方法仍可与基于交叉注意力的方法竞争；此外，它们能以更低的推理成本实现 SOTA 性能。我们提出了 UPLiFT，一种用于通用像素密集轻量级特征变换的架构。我们还提出了一种高效的局部注意力器算子，以克服先前迭代特征上采样方法的局限性。该算子使用一种完全在局部定义的替代性注意力池化公式。我们表明，我们的局部注意力器使 UPLiFT 能够在上采样过程中保持稳定的特征，从而以低于现有像素密集特征上采样器的推理成本实现 SOTA 性能。此外，我们将 UPLiFT 应用于生成式下游任务，并表明它在 VAE 特征上采样方面实现了与 SOTA 耦合流匹配模型相媲美的性能。总而言之，UPLiFT 提供了一种通用且高效的创建密集特征的方法。
引用
@article{arxiv.2601.17950,
title = {UPLiFT: Efficient Pixel-Dense Feature Upsampling with Local Attenders},
author = {Matthew Walmer and Saksham Suri and Anirud Aggarwal and Abhinav Shrivastava},
journal= {arXiv preprint arXiv:2601.17950},
year = {2026}
}