仅前向持续学习
机器学习
2025-09-03 v1 计算机视觉与模式识别
摘要
灾难性遗忘仍然是预训练模型持续学习（CL）的核心挑战。虽然现有方法通常冻结骨干网络并微调少量参数以缓解遗忘，但它们仍依赖迭代误差反向传播和基于梯度的优化，这在计算上可能非常密集，且不太适合资源受限的环境。为了解决这一问题，我们提出了 FoRo，一种仅前向、无梯度的持续学习方法。FoRo 由轻量级提示微调策略和新颖的知识编码机制组成，两者在设计时均不修改预训练模型。具体而言，提示嵌入被插入到输入层，并使用协方差矩阵自适应进化策略（CMA-ES）进行优化，这缓解了分布偏移并提取了高质量的任务表示。随后，通过非线性随机投影和递归最小二乘法将特定任务的知识编码到知识编码矩阵中，从而无需重新访问先前数据即可对分类器进行增量更新。实验表明，FoRo 显著降低了平均遗忘并提高了准确率。得益于仅前向学习，FoRo 减少了内存使用和运行时间，同时在长任务序列中保持了高知识保留率。这些结果表明，FoRo 可作为探索预训练模型持续学习的一个有前景的方向，特别是在效率和有效性都至关重要的现实世界多媒体应用中。
引用
@article{arxiv.2509.01533,
title = {Forward-Only Continual Learning},
author = {Jiao Chen and Jiayi He and Fangfang Chen and Zuohong Lv and Jianhua Tang},
journal= {arXiv preprint arXiv:2509.01533},
year = {2025}
}