联邦类递增学习：结合潜在样本与数据无关技术的混合方法以解决局部与全局遗忘
摘要
联邦类递增学习(FCIL)指的是动态变化的客户端数量协同学习越来越多的新增任务的场景。FCIL 已知会因每个客户端的类别不平衡导致局部遗忘，因跨客户端的类别不平衡导致全局遗忘。我们构建了FCIL的数学框架，形式化局部与全局遗忘。随后，我们提出了一种称为混合复排 (Hybrid Rehearsal, HR) 的方法，利用潜在样本和数据无关技术分别解决局部与全局遗忘。HR 采用专为分类和合成数据生成设计的自编码器。服务器利用 Lennard-Jones势 公式，在编码器的潜在空间中确定所有客户端的新任务嵌入。客户端则通过解码器将存储的低维潜在空间样本解码回高维输入空间，以解决局部遗忘。为克服全局遗忘，解码器生成合成数据。 Furthermore, our mathematical framework proves that our proposed approach HR can, in principle, tackle the two local and global forgetting challenges. In practice, extensive experiments demonstrate that while preserving privacy, our proposed approach outperforms the state-of-the-art baselines on multiple FCIL benchmarks with low compute and memory footprints. 我们的 mathematical framework 证明了我们提出的方法 HR 在原则上可以解决这两个局部和全局遗忘挑战。实际中，大量实验表明，在保持隐私的前提下，我们的方法在多个 FCIL 基准测试中优于最新方法，同时计算和内存开销较小。
引用
@article{arxiv.2501.15355,
title = {Large Language Models as Theory of Mind Aware Generative Agents with Counterfactual Reflection},
author = {Bo Yang and Jiaxian Guo and Yusuke Iwasawa and Yutaka Matsuo},
journal= {arXiv preprint arXiv:2501.15355},
year = {2025}
}