用于鲁棒视觉感知的卷积视觉提示
计算机视觉与模式识别
2023-10-27 v2 机器学习
摘要
视觉模型常在无适配时易受分布外（OOD）样本影响。尽管视觉提示为大规模视觉模型提供了一种轻量级的输入空间适配方法，其依赖于高维加性向量与标注数据。这导致在无标签的自监督测试时设定下适配模型时发生过拟合。我们引入卷积视觉提示（CVP）用于无标签测试时适配以实现鲁棒视觉感知。CVP的结构化特性所需可训练参数更少，较标准视觉提示少于1%，从而抑制过拟合。在广泛OOD视觉感知任务上的大量实验与分析表明，我们的方法有效，相较若干大规模模型将鲁棒性提升多达5.87%。
引用
@article{arxiv.2303.00198,
title = {Convolutional Visual Prompt for Robust Visual Perception},
author = {Yun-Yun Tsai and Chengzhi Mao and Junfeng Yang},
journal= {arXiv preprint arXiv:2303.00198},
year = {2023}
}