HiDe-PET：通过参数高效微调的分层分解实现持续学习
机器学习
2025-04-18 v2
摘要
预训练模型 (PTM) 的部署极大地推动了持续学习 (CL) 领域的发展，实现了正向知识迁移和对灾难性遗忘的韧性。为了维持这些对顺序到达任务的优势，一个有前景的方向是冻结预训练主干，同时使用参数高效微调 (PET) 技术来指导表示学习。尽管基于提示的 PET 在 CL 中很流行，但我们在对不同 PTM 和目标任务的评估中发现，其经验设计通常会导致次优性能。为此，我们提出了一个统一的 CL 与 PTM 和 PET 框架，提供了理论和实证两方面的进展。我们首先在预训练背景下对 CL 目标进行了深入的理论分析，将其分解为层次化组件，即任务内预测、任务身份推断和任务自适应预测。然后，我们提出了分层分解 PET (HiDe-PET)，这是一种创新方法，通过主流 PET 技术结合预训练表示的高效恢复，显式地优化分解后的目标，融合了任务特定和任务共享知识。利用此框架，我们深入研究了实现策略、PET 技术和 PET 架构，以及在显著分布变化中自适应知识积累的不同影响。最后，在各种 CL 场景中，我们的方法在广泛的近期强基线方法中表现出显著优越的性能。
引用
@article{arxiv.2407.05229,
title = {HiDe-PET: Continual Learning via Hierarchical Decomposition of Parameter-Efficient Tuning},
author = {Liyuan Wang and Jingyi Xie and Xingxing Zhang and Hang Su and Jun Zhu},
journal= {arXiv preprint arXiv:2407.05229},
year = {2025}
}
备注
IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)