批模型整合：一种多任务模型整合框架

在持续学习（CL）中，要求模型顺序学习一串任务而不在已学任务上显著性能退化。当前方法在来自多样领域与难度的长任务序列上失效。许多现有 CL 方法因过高内存成本或训练时间，或与单一设备紧耦合而难以实用。受广泛使用的 mini-batch 训练启发，我们提出批模型整合（$\textbf{BMC}$）以支持更现实的 CL：多个智能体暴露于一系列任务之下。在 $\textit{正则化}$ 阶段，BMC 在一组不相交任务上并行训练多个 $\textit{专家模型}$。各专家通过 $\textit{稳定性损失}$ 保持与 $\textit{基模型}$ 的权重相似度，并从任务数据的一部分构建 $\textit{缓冲区}$。在 $\textit{整合}$ 阶段，我们使用聚合所有缓冲区的 $\textit{记忆}$ 数据，通过 $\textit{批整合损失}$ 合并各“批次” $\textit{专家模型}$ 的学习知识。我们在消融研究中彻底评估方法的各组件，并在标准化基准数据集 Split-CIFAR-100、Tiny-ImageNet 及由 71 个来自多样领域与难度的图像分类任务构成的 Stream 数据集上证明有效性。我们的方法以 70% 优势超越次优 CL 方法，且是唯一能在 71 个任务结束时保持性能的方法；我们的基准见于 https://github.com/fostiropoulos/stream_benchmark