CLDyB：面向基于预训练模型的持续学习的动态基准测试
机器学习
2025-05-26 v2
摘要
基础模型时代的到来激发了利用预训练表征进行持续学习（CL）的研究兴趣，产生了一系列在标准评估基准上表现最佳的 CL 方法。然而，人们越来越关注预训练阶段可能存在的数据污染问题。此外，标准的评估基准通常是静态的，无法捕捉真实世界 CL 场景的复杂性，导致性能饱和。为解决这些问题，我们描述了 CL on dynamic benchmarks（CLDyB），这是一个基于马尔可夫决策过程用于可靠评估 CL 方法的通用计算框架。CLDyB 能够动态识别给定 CL 方法中固有困难且依赖于算法的任务，并利用蒙特卡洛树搜索确定具有挑战性的任务顺序。利用 CLDyB，我们首先对多种最先进的 CL 方法进行联合评估，得到一组现有 CL 方法往往表现不佳的常见且可泛化的挑战性任务序列。随后，我们使用 CLDyB 对各个 CL 方法进行单独评估，发现了它们各自的优势与劣势。源代码和生成的任务序列可在 https://github.com/szc12153/CLDyB 公开获取。
引用
@article{arxiv.2503.04655,
title = {CLDyB: Towards Dynamic Benchmarking for Continual Learning with Pre-trained Models},
author = {Shengzhuang Chen and Yikai Liao and Xiaoxiao Sun and Kede Ma and Ying Wei},
journal= {arXiv preprint arXiv:2503.04655},
year = {2025}
}