面向语义解析的联邦学习：任务定义、评估设置与新算法
计算与语言
2023-05-30 v1 人工智能
数据库
机器学习
摘要
本文研究语义解析的联邦学习（FL）这一新任务，其中多个客户端协作训练一个全局模型而不共享其语义解析数据。通过利用来自多个客户端的数据，FL范式对于那些自身训练数据很少、难以独立开发数据饥渴型神经语义解析器的客户端尤为有益。我们提出一种评估设置来研究该任务，将广泛使用的单域文本到SQL数据集重新用作客户端，以形成真实的异构FL设置并协作训练全局模型。由于标准FL算法在我们这一真实设置中受严重的客户端异构性影响，我们进一步提出一种新颖的损失缩减自适应重加权（Lorar）机制来缓解性能下降，该机制根据每个客户端在每轮中训练损失的缩减来调整其对全局模型更新的贡献。我们的直觉是：损失缩减越大，当前全局模型离该客户端局部最优越远，该客户端应获得越大权重。通过将Lorar应用于三种广泛采用的FL算法（FedAvg、FedOPT和FedProx），我们观察到它们的性能平均可大幅提升（在MacroAvg下绝对提升4%–20%），且数据集较小的客户端享有更大的性能增益。此外，全局模型对几乎所有客户端的收敛都更快。
引用
@article{arxiv.2305.17221,
title = {Federated Learning for Semantic Parsing: Task Formulation, Evaluation Setup, New Algorithms},
author = {Tianshu Zhang and Changchang Liu and Wei-Han Lee and Yu Su and Huan Sun},
journal= {arXiv preprint arXiv:2305.17221},
year = {2023}
}
备注
ACL 2023 long paper