非独立同分布数据下的知识感知联邦主动学习

联邦学习使多个分散客户端能够在不共享本地训练数据的情况下协同学习。然而，本地客户端上获取数据标签的高昂标注成本仍是利用本地数据的障碍。本文提出一种联邦主动学习范式，以在分散学习方式中保护数据隐私的同时，以有限标注预算高效学习全局模型。联邦主动学习面临的主要挑战在于服务器上全局模型的主动采样目标与异步本地客户端的目标不匹配。当数据以非 IID 方式分布于本地客户端时，此问题更为显著。为应对上述挑战，我们提出知识感知联邦主动学习（KAFAL），其包含知识专门化主动采样（KSAS）与知识补偿联邦更新（KCFU）。KSAS 是一种专为联邦主动学习问题设计的新型主动采样方法，它基于本地与全局模型间的差异进行主动采样，从而应对不匹配挑战。KSAS 强化本地客户端的专门知识，确保所采样数据对本地客户端与全局模型均具信息量。与此同时，KCFU 处理由有限数据与非 IID 数据分布引发的客户端异质性，借助全局模型补偿各客户端在弱类别上的能力。我们进行了大量实验与分析，以表明 KSAS 优于最先进主动学习方法，以及 KCFU 在联邦主动学习框架下的高效性。