AnchorOPT：面向动态锚点的自适应提示学习优化
计算机视觉与模式识别
2025-11-27 v1 计算与语言
摘要
现有的提示学习方法基于 CLIP 模型，利用文本标记作为锚点来指导可学习的软标记。这一指导提高了 CLIP 的泛化能力。然而，这些锚点在值和位置上都是静态的，缺乏跨任务和阶段的自适应灵活性。为此，我们提出 AnchorOPT，一种基于动态锚点的提示学习框架。具体而言，AnchorOPT 在两个关键维度上引入动态性：(i) 锚点的值摒弃了手工制定的显式文本标记 (如 "shape", "color")，而是从任务特定数据中动态学习；(ii) 锚点与软标记之间的位置关系不再是固定的，而是通过一个以训练阶段和任务上下文为条件的可学习位置矩阵来自适应优化。在两个阶段进行训练：我们首先学习锚点标记，然后冻结并将其传递到第二个阶段，以优化软标记和位置矩阵。大量实验表明，仅使用一个简单的可学习锚点和位置矩阵即可实现与包含额外可学习模块或正则化技术的方法相当甚至更好的性能。作为一个即插即用模块，AnchorOPT 无缝集成到现有框架中，能够在 diverse 数据集上实现持久的性能提升。代码可在 https://github.com/zhengli97/ATPrompt 上公开获取。
引用
@article{arxiv.2511.21188,
title = {AnchorOPT: Towards Optimizing Dynamic Anchors for Adaptive Prompt Learning},
author = {Zheng Li and Yibing Song and Xin Zhang and Lei Luo and Xiang Li and Jian Yang},
journal= {arXiv preprint arXiv:2511.21188},
year = {2025}
}
备注
Technical Report