面向终身深度学习的任务感知多专家架构
机器学习
2025-12-15 v1 计算机视觉与模式识别
摘要
终身深度学习（LDL）训练神经网络在任务间顺序学习同时保留先前知识。我们提出了任务感知多专家（TAME），一种利用任务相似性来指导专家选择和知识迁移的持续学习算法。TAME 维护一个预训练神经网络池，并为每个新任务激活最相关的专家。一个共享稠密层整合所选专家的特征以生成预测。为减少灾难性遗忘，TAME 使用重放缓冲区存储先前任务的代表性样本和嵌入，并在训练中复用它们。注意力机制进一步为每个预测优先处理最相关的存储信息。这些组件共同使 TAME 能够灵活适应，同时在不断变化的任务序列中保留重要知识。在 CIFAR-100 衍生的二分类任务上的实验表明，TAME 在新任务上提升了准确率，同时保持了先前任务的性能，突显了其在终身学习设置中平衡适应与保留的有效性。
引用
@article{arxiv.2512.11243,
title = {Task-Aware Multi-Expert Architecture For Lifelong Deep Learning},
author = {Jianyu Wang and Jacob Nean-Hua Sheikh and Cat P. Le and Hoda Bidkhori},
journal= {arXiv preprint arXiv:2512.11243},
year = {2025}
}