基于提示的持续学习的层次化分解:重新审视被掩盖的次优性
机器学习
2023-10-12 v1
摘要
基于提示的持续学习是利用预训练知识进行下游持续学习的一个新兴方向,在有监督预训练下已几乎达到性能巅峰。然而,我们的实证研究表明,在更现实的自监督预训练下,当前策略未能发挥其全部潜力,而自监督预训练对于处理实践中海量无标签数据至关重要。这很大程度上源于任务特定知识难以通过提示参数融入受指示表示,并在测试时由未受指示表示预测。为克服所暴露的次优性,我们对预训练背景下的持续学习目标进行理论分析,并将其分解为层次化组分:任务内预测、任务身份推断与任务自适应预测。遵循这些实证与理论见解,我们提出层次化分解(HiDe-)提示,一种创新方法,利用任务特定提示集合以及未受指示与受指示表示的统计量显式优化层次化组分,并辅以对比正则化策略的协调。我们的大量实验证明了 HiDe-Prompt 的优越性能及其在持续学习中对预训练范式的鲁棒性(例如,在 Split CIFAR-100 与 Split ImageNet-R 上分别领先达 15.01% 与 9.61%)。我们的代码见 \url{https://github.com/thu-ml/HiDe-Prompt}。
引用
@article{arxiv.2310.07234,
title = {Hierarchical Decomposition of Prompt-Based Continual Learning: Rethinking Obscured Sub-optimality},
author = {Liyuan Wang and Jingyi Xie and Xingxing Zhang and Mingyi Huang and Hang Su and Jun Zhu},
journal= {arXiv preprint arXiv:2310.07234},
year = {2023}
}
备注
23 pages, 20 figures, 11 tables, accepted by NeurIPS as a Spotlight