通过分类器-Proximal 轻量插件推动基于蒸馈的持续学习极限

持续学习需要模型在不断演变的数据流中持续学习，同时保留先前知识。基于蒸馈的方法因低存储开销而引人注目，适合于共享单一模型框架。然而，它们仍受制于稳定性-塑性困境：知识获取与保存仍通过耦合目标函数进行优化，现有增强方法并未改变这一根本性瓶颈。为此，我们提出一种称为蒸馈感知轻量组件（DLC）的插件扩展范式，用于持续学习中的基于蒸馈的方法。DLC 在基本特征提取器的分类器-Proximal 层中部署轻量残差插件，实现语义级别的残差校正，以提高分类准确率，同时最小化对整体特征提取过程的干扰。在推理期间，插件增强的表示被聚合以产生分类预测。为缓解非目标插件带来的干扰，我们进一步引入轻量级加权单元，以学习为不同插件增强表示分配重要性分数。DLC 在大规模基准上实现了显著的8%准确率提升，仅引入4%的骨干网络参数，凸显其卓越的效率。此外，DLC 与其他即插即用持续学习增强功能兼容，并在与之组合时提供额外的提升。