基于合成数据的专家路由用于持续学习
机器学习
2025-08-29 v3
摘要
在许多实际场景中，法规和经济激励允许在机构之间共享模型但不共享数据。在此类情况下，实践者可能希望适应新领域，而不牺牲先前领域的性能（即所谓的灾难性遗忘）。虽然单个模型可能难以实现这一目标，但学习一套特定于领域的专家小组可为每个机构提供更接近的适应性。然而，在此背景下确定在测试时部署哪个专家是一个核心挑战。本文提出一种名为 Generate to Discriminate（G2D）的方法，用于域递增持续学习，利用合成数据训练域判别器，以在推理时将样本路由到 appropriate expert。我们惊讶地发现，使用合成数据进行此功能比使用样本直接训练下游分类器（即更常见的利用合成数据进行 lifelong learning 文献的方法）更有效。我们观察到 G2D 在视觉和语言模态的任务上均优于竞争性的域递增学习方法，为持续学习文献中合成数据的使用提供了新的视角。
关键词
引用
@article{arxiv.2412.17009,
title = {Expert Routing with Synthetic Data for Continual Learning},
author = {Yewon Byun and Sanket Vaibhav Mehta and Saurabh Garg and Emma Strubell and Michael Oberst and Bryan Wilder and Zachary C. Lipton},
journal= {arXiv preprint arXiv:2412.17009},
year = {2025}
}