中文

从基础模型探索语义属性用于不相交标签空间的联邦学习

计算机视觉与模式识别 2023-11-29 v2

摘要

当来自不同来源的数据因数据隐私或传输限制而无法共享时,传统的集中式深度学习范式不可行。为解决此问题,引入了联邦学习,以在具有非共享数据的多个来源(客户端)间迁移知识,同时优化一个全局泛化的中心模型(服务器)。现有联邦学习范式大多关注跨模型迁移整体高层知识(如类别),其紧密关联特定感兴趣对象,故可能遭受逆攻击。相反,本工作中我们考虑迁移中层语义知识(如属性),其对特定感兴趣对象不敏感,因而更具隐私保护性与可扩展性。为此,我们构建了一种新的联邦零样本学习(FZSL)范式,以在非共享本地数据的多个本地客户端学习中层语义知识,并累积聚合一个全局泛化的中心模型用于部署。为提升模型判别能力,我们提出从外部知识探索语义知识增强,以丰富 FZSL 中的中层语义空间。在五个零样本学习基准数据集上的大量实验验证了我们的方法在通过中层语义知识迁移优化可泛化联邦学习模型上的有效性。

关键词

引用

@article{arxiv.2208.13465,
  title  = {Exploring Semantic Attributes from A Foundation Model for Federated Learning of Disjoint Label Spaces},
  author = {Shitong Sun and Chenyang Si and Guile Wu and Shaogang Gong},
  journal= {arXiv preprint arXiv:2208.13465},
  year   = {2023}
}

备注

Under Review