基于图注意力的个性化网络分布式学习
分布式、并行与集群计算
2023-06-28 v1 机器学习
信号处理
摘要
在传统的网络分布式学习中，多个智能体协作构建一个通用的机器学习模型。然而，由于智能体之间潜在的非独立同分布（non-i.i.d.）数据分布，统一的学习模型对每个智能体处理其本地可访问数据而言变得低效。为解决该问题，我们提出了一种用于分布式深度学习的基于图注意力的个性化训练算法（GATTA）。GATTA 使每个智能体能够训练其本地个性化模型，同时利用其与邻居节点的相关性并聚合它们的有用信息。具体而言，每个智能体中的个性化模型由全局部分和节点特定部分组成。通过将每个智能体视为图中的一个节点、将节点特定参数视为其特征，图注意力机制的优势得以继承。即，它并非基于平均的聚合，而是学习不同邻居节点的特定权重，且无需关于图结构或邻居节点数据分布的先验知识。此外，基于权重学习过程，我们开发了通过跳过聚合权重较小的信息传输来实现通信高效的 GATTA。另外，我们从理论上分析了 GATTA 在非凸损失函数下的收敛性质。数值结果验证了所提算法在收敛性和通信成本方面的优异性能。
引用
@article{arxiv.2305.13041,
title = {Distributed Learning over Networks with Graph-Attention-Based Personalization},
author = {Zhuojun Tian and Zhaoyang Zhang and Zhaohui Yang and Richeng Jin and Huaiyu Dai},
journal= {arXiv preprint arXiv:2305.13041},
year = {2023}
}
备注
Accepted for publication in IEEE TSP; with supplementary details for the derivations