使用交互式分割基准评估视觉基础模型的特征上采样方法
计算机视觉与模式识别
2025-05-06 v1 人工智能
机器学习
摘要
视觉基础模型（VFM）是大规模预训练模型，可作为各种计算机视觉任务的通用骨干网络。随着 VFM 的日益普及，人们越来越关注其在密集预测任务中的有效性。然而，VFM 通常产生低分辨率特征，限制了它们在此背景下的直接适用性。解决此限制的一种方法是采用一个与任务无关的特征上采样模块来细化 VFM 特征的分辨率。为了评估这种方法的有效性，我们研究将交互式分割（IS）作为一个新颖的基准，用于评估 VFM 上的特征上采样方法。由于其固有的多模态输入（由图像和一组用户定义的点击组成）以及密集的掩码输出，IS 创建了一个具有挑战性的环境，要求全面的视觉场景理解。我们的基准测试实验表明，选择合适的上采样策略能显著提高 VFM 特征的质量。代码已发布于 https://github.com/havrylovv/iSegProbe。
引用
@article{arxiv.2505.02075,
title = {Benchmarking Feature Upsampling Methods for Vision Foundation Models using Interactive Segmentation},
author = {Volodymyr Havrylov and Haiwen Huang and Dan Zhang and Andreas Geiger},
journal= {arXiv preprint arXiv:2505.02075},
year = {2025}
}