联邦持续新类学习
计算机视觉与模式识别
2023-12-22 v1
摘要
在注重隐私的时代，联邦学习（FL）已成为一种极具前景的机器学习技术。然而，现有的多数 FL 研究假设数据分布随时间保持近乎固定，而真实场景往往涉及动态和持续的变化。为了赋予 FL 系统持续的模型演化能力，本工作聚焦于一个重要问题，称为联邦持续新类学习（FedCN）。FedCN 中最大的挑战是合并和对齐由不同客户端发现并学习的新类，同时不损害隐私。为了解决这个问题，我们提出了一种全局对齐学习（GAL）框架，该框架能够在始终保持隐私保护的前提下，准确估计全局新类数量，并从全局视角为局部训练提供有效指导。具体而言，GAL 首先通过双层聚类机制在表示空间中定位高密度区域以估计新类数量，并据此构建对应于新类的全局原型。然后，GAL 使用一种新颖的语义加权损失来捕获这些原型与训练数据之间所有可能的相关性，以减轻伪标签噪声和数据异构性的影响。在各种数据集上的大量实验表明，GAL 优于 SOTA 新类发现方法。特别是，GAL 在新类性能上取得了显著提升，在一个新类学习阶段的情况下准确率提高了 5.1% 至 10.6%，在两个新类学习阶段的情况下准确率提高了 7.8% 至 17.9%，且未牺牲已知类性能。此外，GAL 被证明能有效赋予多种不同的主流 FL 算法以新类发现与学习能力，突显了其在众多实际应用中的潜力。
引用
@article{arxiv.2312.13500,
title = {Federated Continual Novel Class Learning},
author = {Lixu Wang and Chenxi Liu and Junfeng Guo and Jiahua Dong and Xiao Wang and Heng Huang and Qi Zhu},
journal= {arXiv preprint arXiv:2312.13500},
year = {2023}
}
备注
23 pages, 3 figures