从视觉提示学习到零样本迁移：映射即你所需要
计算机视觉与模式识别
2023-03-10 v1
摘要
视觉提示学习作为一种新兴技术，利用大规模预训练模型习得的知识，并通过提示将其适配到下游任务。先前研究集中于设计有效提示，而本文认为，相较于提示设计，良好的映射策略更为重要。就此意义，我们提出SeMap，一种利用预训练模型知识与下游任务之间语义对齐的更有效映射。实验结果表明，SeMap能大幅提升视觉提示学习的性能。此外，实验显示SeMap能够实现具有竞争力的零样本迁移，表明其可在不对相应数据集进行任何微调的情况下执行下游任务。这展示了我们所提方法在需要零样本迁移的更广泛应用中的潜力。结果表明，所提SeMap可在视觉提示学习与零样本迁移两方面带来显著进展。我们希望借助SeMap，能帮助社区迈向对大型视觉模型更高效、更轻量的利用。
引用
@article{arxiv.2303.05266,
title = {From Visual Prompt Learning to Zero-Shot Transfer: Mapping Is All You Need},
author = {Ziqing Yang and Zeyang Sha and Michael Backes and Yang Zhang},
journal= {arXiv preprint arXiv:2303.05266},
year = {2023}
}