面向异构文本摘要的基于梯度调制的个性化联邦学习
人工智能
2023-04-25 v1
摘要
文本摘要对于信息聚合至关重要，且需要大量训练数据。然而，对数据隐私与安全的担忧限制了数据收集与模型训练。为消除该担忧，我们提出一种联邦学习文本摘要方案，允许用户以协作学习的方式共享全局模型而无需共享原始数据。个性化联邦学习（PFL）在优化全局模型过程中平衡个性化与泛化，以指导局部模型训练。然而，多个局部数据具有不同语义与上下文分布，可能导致局部模型学到偏离的语义与上下文信息。本文中，我们提出FedSUMM，一种动态梯度适配器，为局部模型提供更合适的局部参数。同时，FedSUMM利用差分隐私防止分布式训练中的参数泄露。实验证明，FedSUMM能在面向特定任务文本摘要的PFL算法上实现更快的模型收敛，且该方法在文本摘要的不同优化指标上均取得优越性能。
引用
@article{arxiv.2304.11524,
title = {Personalized Federated Learning via Gradient Modulation for Heterogeneous Text Summarization},
author = {Rongfeng Pan and Jianzong Wang and Lingwei Kong and Zhangcheng Huang and Jing Xiao},
journal= {arXiv preprint arXiv:2304.11524},
year = {2023}
}
备注
Accepted by IJCNN2023. 2023 IEEE International Joint Conference on Neural Network (IJCNN2023)