IOTA: 通过黑白盒框架进行纠错知识引导的提示学习
计算机视觉与模式识别
2026-01-29 v1
摘要
最近，适应预训练模型以应用于下游任务的研究引起了日益关注。以往的参数高效调优（PET）方法将预训练模型视为不透明的黑盒模型，仅依赖数据驱动优化，未充分利用其内在的先验知识。这一局限使模型在有效的下游任务适应方面发挥不到潜力。为解决这些问题，我们提出了一种新型的黑白盒提示学习框架（IOTA），集成数据驱动的黑盒模块和知识驱动的白盒模块，用于下游任务适应。具体而言，白盒模块通过对比错误预测与正确认知来推导出纠错知识。该知识被转化为可解释的人类提示，并通过纠错知识引导的提示选择策略加以利用，以引导黑盒模块获得更准确的预测。通过联合利用知识和数据驱动的学习信号，IOTA 实现了有效的下游任务适应。在 12 个图像分类基准测试上的实验结果表明，纠错知识的有效性以及我们方法相对于最先进方法的优越性。
引用
@article{arxiv.2601.20526,
title = {IOTA: Corrective Knowledge-Guided Prompt Learning via Black-White Box Framework},
author = {Shaokun Wang and Yifan Yu and Yuhang He and Weili Guan and Yihong Gong},
journal= {arXiv preprint arXiv:2601.20526},
year = {2026}
}