参数隔离在基于提示的持续学习中更好吗？
机器学习
2026-01-30 v1
摘要
基于提示的持续学习方法有效缓解了灾难性遗忘。然而，大多数现有方法为每个任务分配固定的提示集合，完全隔离任务之间的知识，导致参数利用不够优化。为此，我们考虑持续学习的实际需求，提出了一个提示共享框架。该框架构建全局提示池，并引入基于任务的门控路由机制，以稀疏激活子集提示，以实现动态解耦和任务特定特征表示的协同优化。此外，我们引入了 history-aware 调制器，该调制器利用累积提示激活统计信息，以保护频繁使用的提示免受过度更新，从而缓解了低效的参数使用和知识遗忘。广泛的分析和实证结果表明，我们的方法在有效性和效率方面始终优于现有的静态分配策略。
引用
@article{arxiv.2601.20894,
title = {Is Parameter Isolation Better for Prompt-Based Continual Learning?},
author = {Jiangyang Li and Chenhao Ding and Songlin Dong and Qiang Wang and Jianchao Zhao and Yuhang He and Yihong Gong},
journal= {arXiv preprint arXiv:2601.20894},
year = {2026}
}
备注
17 pages, 5 figures