中文

带有噪声用户反馈的联邦学习

机器学习 2022-05-09 v1 计算与语言 人机交互

摘要

机器学习(ML)系统正日益普及,并在日常生活中驱动着越来越多的应用与服务。这引发了人们对用户隐私的日益担忧,因为人类交互数据通常需要传输至云端以训练并改进此类系统。联邦学习(FL)近来作为一种在边缘设备上利用敏感用户数据训练ML模型的方法而出现,并被视为缓解数据隐私担忧的途径。然而,由于ML模型最常见的是以标签监督方式训练,我们需要一种在边缘提取标签的方法以使FL可行。本工作中,我们提出一种利用正负用户反馈训练FL模型的策略。我们还设计了一个新颖的框架来研究用户反馈中的不同噪声模式,并探究在标准噪声鲁棒目标函数在联邦环境下训练模型时能在多大程度上帮助缓解该噪声。我们通过两个文本分类数据集上的详细实验评估所提出的训练设置,并分析了不同用户可靠性水平与反馈噪声对模型性能的影响。我们表明,相较自训练基线,我们的方法取得实质性改进,性能更接近全监督训练的模型。

关键词

引用

@article{arxiv.2205.03092,
  title  = {Federated Learning with Noisy User Feedback},
  author = {Rahul Sharma and Anil Ramakrishna and Ansel MacLaughlin and Anna Rumshisky and Jimit Majmudar and Clement Chung and Salman Avestimehr and Rahul Gupta},
  journal= {arXiv preprint arXiv:2205.03092},
  year   = {2022}
}

备注

Accepted to appear in NAACL 2022