基于最优传输引导的视觉提示测试时适应方法
计算机视觉与模式识别
2024-09-11 v2 机器学习
摘要
视觉转换器 (ViT) 在学习表征方面展现出惊人的能力，但在应用到未见域时性能受到影响。以往方法要么在训练阶段进行提示学习，要么通过熵最小化在测试时修改模型参数。前者往往忽视了未标记的目标数据，而后者未能充分解决域迁移问题。本文提出的方法——最优传输引导测试时视觉提示 (OT-VP)，通过在测试时进行提示学习来对齐目标域和源域，而无需访问训练过程或修改预训练模型参数。该方法通过优化最优传输距离来学习适用于目标域的通用视觉提示。OT-VP仅需学习四个提示标记，便在三个风格数据集（PACS、VLCS、OfficeHome）和一个损坏数据集（ImageNet-C）上超越当前最佳性能。此外，OT-VP在内存和计算资源方面都具有高度效率，同时也适合扩展至在线设置。
引用
@article{arxiv.2407.09498,
title = {OT-VP: Optimal Transport-guided Visual Prompting for Test-Time Adaptation},
author = {Yunbei Zhang and Akshay Mehra and Jihun Hamm},
journal= {arXiv preprint arXiv:2407.09498},
year = {2024}
}
备注
WACV2025