通信高效的联邦线性与深度广义典型相关分析
机器学习
2023-04-05 v2 分布式、并行与集群计算
信号处理
摘要
经典与深度广义典型相关分析（GCCA）算法分别利用线性变换和神经网络，从多个“视图”（如音频与图像）的数据实体中寻求低维公共表示。当各视图在不同计算节点（如机构与边缘设备）处采集并存储，且出于隐私或通信成本考虑不希望共享数据时，基于联邦学习的 GCCA 具有充分的动机。在联邦学习中，视图保留在节点本地，仅允许与中心服务器交换派生的有限信息。然而，将现有 GCCA 算法应用于此类联邦学习设置可能产生极高的通信开销。本文提出了一种在最大方差（MAX-VAR）形式下面向线性与深度 GCCA 的通信高效联邦学习框架。该开销问题通过对计算节点与中心控制器间交换信息进行激进压缩（通过量化）来解决。与未量化版本相比，我们的实证研究表明，所提算法在几乎不损失精度与收敛速度的前提下大幅降低了通信开销。我们还给出了严格的收敛性分析，这是一项非平凡的工作。通用的联邦优化结果并未涵盖 GCCA 的特殊问题结构。我们的结果表明，即便在重度量化与随机逼近下，所提线性与深度 GCCA 算法均以亚线性速率收敛至临界点。此外，在线性 MAX-VAR 情形下，量化算法在合理条件下以几何速率逼近全局最优。合成与真实数据实验用于展示所提方法的有效性。
引用
@article{arxiv.2109.12400,
title = {Communication-Efficient Federated Linear and Deep Generalized Canonical Correlation Analysis},
author = {Sagar Shrestha and Xiao Fu},
journal= {arXiv preprint arXiv:2109.12400},
year = {2023}
}