用于联邦类增量学习的文本增强无数据方法
计算机视觉与模式识别
2024-03-22 v1 计算与语言
机器学习
摘要
联邦类增量学习是一个尚未被充分探索但至关重要的议题，涉及在联邦学习背景下动态添加新类别。在该领域，无数据知识迁移在解决灾难性遗忘和数据隐私问题方面扮演着关键角色。然而，先前的方法缺乏 DFKT 与模型训练阶段之间的关键协同作用，导致 DFKT 在从旧任务模型的非锚定潜在空间中生成高质量数据时遇到困难。在本文中，我们引入了 LANDER（以标签文本为中心的无数据知识迁移）来解决这一问题，该方法利用预训练语言模型产生的标签文本嵌入。具体来说，在模型训练阶段，我们的方法将 LTE 视为锚点，并将相应训练样本的特征嵌入约束在其周围，从而用更有意义的信息丰富周围区域。在 DFKT 阶段，通过使用这些 LTE 锚点，LANDER 可以合成更有意义的样本，从而有效解决遗忘问题。此外，我们没有将嵌入紧密约束在锚点附近，而是引入了边界损失，以鼓励样本嵌入在定义的半径内保持灵活性。这种方法保留了样本嵌入的自然差异，并减轻了由异构联邦设置引起的嵌入重叠。在 CIFAR100、Tiny-ImageNet 和 ImageNet 上进行的大量实验表明，LANDER 显著优于先前的方法，并在 FCIL 中达到了最先进的性能。代码可在 https://github.com/tmtuan1307/lander 获取。
引用
@article{arxiv.2403.14101,
title = {Text-Enhanced Data-free Approach for Federated Class-Incremental Learning},
author = {Minh-Tuan Tran and Trung Le and Xuan-May Le and Mehrtash Harandi and Dinh Phung},
journal= {arXiv preprint arXiv:2403.14101},
year = {2024}
}
备注
Accepted at CVPR 2024