持续学习中的超参数：现实检验

持续学习（CL）旨在针对一系列任务（即 CL 场景）训练模型，同时平衡可塑性（学习新任务）和稳定性（保留先验知识）之间的权衡。CL 算法主要采用的传统评估协议在给定场景内选择最佳超参数（例如，学习率、小批量大小、正则化强度等），然后使用这些超参数在同一场景中评估算法。然而，该协议存在重大缺陷：它高估了算法的 CL 能力，并依赖于不切实际的超参数调整，这对于现实世界的应用是不可行的。从机器学习评估的基本原理出发，我们认为 CL 算法的评估应侧重于评估其 CL 能力对未见场景的泛化能力。基于此，我们提出了由超参数调整和评估阶段组成的可泛化两阶段评估协议（GTEP）。这两个阶段共享相同的场景配置（例如，任务数量），但由不同的数据集生成。CL 算法的超参数在第一阶段进行调整，并在第二阶段应用以评估算法。我们将此协议应用于类增量学习，包括使用和不使用预训练模型的情况。在超过 8,000 次实验中，我们的结果表明，大多数最先进的算法未能复现其报告的性能，突出表明它们的 CL 能力在传统评估协议中被显著高估了。我们的实现可在 https://github.com/csm9493/GTEP 找到。