基于层次二阶整合的任务顺序敏感性与遗忘消除
机器学习
2026-02-04 v1
摘要
我们提出了层次Taylor级数式持续学习(HTCL)框架，构建快速局部适应与保守的二阶全局整合，以解决随机任务排序引入的高方差问题。为解决任务顺序效应，HTCL识别最佳 intra-group 任务序列，通过Hessian正则化的Taylor展开整合所得局部更新，得到具有理论保证的整合步骤。该方法自然扩展至L级层次结构，实现不被常规单层持续学习系统支持的多尺度知识集成。跨广泛数据集和回放、正则化基线，HTCL作为模型无关的整合层始终提升性能，在随机任务排列下平均准确率提升7%至25%，最终准确率标准差降低最高可达68%。
引用
@article{arxiv.2602.02568,
title = {Mitigating Task-Order Sensitivity and Forgetting via Hierarchical Second-Order Consolidation},
author = {Protik Nag and Krishnan Raghavan and Vignesh Narayanan},
journal= {arXiv preprint arXiv:2602.02568},
year = {2026}
}
备注
21 pages, 8 figures