语义偏移一概而论：面向持续学习的自适应提示调优
机器学习
2024-07-23 v2
摘要
在真实世界持续学习（CL）场景中，任务常表现出复杂且不可预测的语义偏移，这对仅能处理均匀程度语义偏移（即均匀温和或均匀突变）的固定提示管理策略构成挑战。为克服该局限，我们提出一种自适应提示方法，有效适应混合了温和与突变偏移的不同程度语义偏移。AdaPromptCL 采用分配-精炼语义分组机制，依据任务间语义相似度动态管理提示组，并通过持续精炼提升分组质量。实验结果表明，AdaPromptCL 优于现有提示方法达 21.3%，尤其在任务间具有多样语义偏移的基准数据集上。
引用
@article{arxiv.2311.12048,
title = {One Size Fits All for Semantic Shifts: Adaptive Prompt Tuning for Continual Learning},
author = {Doyoung Kim and Susik Yoon and Dongmin Park and Youngjun Lee and Hwanjun Song and Jihwan Bang and Jae-Gil Lee},
journal= {arXiv preprint arXiv:2311.12048},
year = {2024}
}
备注
ICML 2024