FedPC：基于个人与上下文偏好嵌入的语言生成联邦学习
计算与语言
2022-10-11 v1 机器学习
摘要
联邦学习是一种从多个分布式用户学习而不在中心服务器上聚合数据的训练范式。这种范式有望将机器学习大规模部署到多样化终端用户群体，而无需先为所有可能任务收集大型标注数据集。由于联邦学习通常在分散群体上平均学习更新，对联邦学习系统个性化的需求日益增长（即对话代理必须能够针对特定用户偏好进行个性化）。在本工作中，我们提出了联邦学习内个性化研究的一个新方向，利用个人嵌入与共享上下文嵌入。我们还提出了一种预测这些“偏好”嵌入的方法，无需反向传播即可实现个性化。相较于最先进的个性化基线，我们的方法在测试时困惑度上实现了 50% 的提升，仅使用基线方法所需内存的 0.001%，并实现了更高的样本与计算效率。
引用
@article{arxiv.2210.03766,
title = {FedPC: Federated Learning for Language Generation with Personal and Context Preference Embeddings},
author = {Andrew Silva and Pradyumna Tambwekar and Matthew Gombolay},
journal= {arXiv preprint arXiv:2210.03766},
year = {2022}
}
备注
Andrew Silva and Pradyumna Tambwekar contributed equally towards this work