DePT：解耦提示微调
计算机视觉与模式识别
2024-03-20 v2
摘要
本工作突破了提示微调中的基-新权衡（BNT）困境，即微调模型对基（或目标）任务泛化越好，对新任务泛化越差，反之亦然。具体而言，通过对基任务和新任务所学特征的深入分析，我们观察到 BNT 源于通道偏置问题，即绝大多数特征通道被基任务特定知识占据，导致对新任务重要的任务共享知识崩溃。为此，我们提出解耦提示微调（DePT）框架，在提示微调过程中将基任务特定知识从特征通道解耦至隔离的特征空间，从而最大程度保留原始特征空间中的任务共享知识，以在新任务上实现更好的零样本泛化。重要的是，我们的 DePT 与现有提示微调方法正交，因此可改进所有这些方法。在 11 个数据集上的大量实验表明了 DePT 的强灵活性与有效性。我们的代码和预训练模型可在 https://github.com/Koorye/DePT 获取。
引用
@article{arxiv.2309.07439,
title = {DePT: Decoupled Prompt Tuning},
author = {Ji Zhang and Shihan Wu and Lianli Gao and Heng Tao Shen and Jingkuan Song},
journal= {arXiv preprint arXiv:2309.07439},
year = {2024}
}
备注
13 pages