具有位置感知神经元的联邦学习
计算机视觉与模式识别
2022-04-05 v2 分布式、并行与集群计算
机器学习
摘要
联邦学习(FL)在不集中用户数据的情况下融合来自本地节点的协作模型。神经网络的置换不变性以及客户端间非独立同分布(non-i.i.d.)的数据使得本地更新的参数无法精确对齐，从而禁用了基于坐标的参数平均。传统神经元不显式考虑位置信息。因此，我们提出位置感知神经元(PANs)作为替代方案，将位置相关的值（即位置编码）融合进神经元输出。PANs将自身耦合到其位置并最小化错位的可能性，即使在异构数据上更新时也是如此。我们通过开启/关闭PANs来禁用/启用神经网络的置换不变性属性。当应用于FL时，PANs与位置紧密耦合，使跨客户端的参数预先对齐并促进基于坐标的参数平均。PANs与算法无关，可普遍改进现有的FL算法。此外，“具有PANs的FL”易于实现且计算友好。
引用
@article{arxiv.2203.14666,
title = {Federated Learning with Position-Aware Neurons},
author = {Xin-Chun Li and Yi-Chu Xu and Shaoming Song and Bingshuai Li and Yinchuan Li and Yunfeng Shao and De-Chuan Zhan},
journal= {arXiv preprint arXiv:2203.14666},
year = {2022}
}
备注
Accepted/to be published on CVPR 2022