面向移动端 NLP 的联邦少样本学习
机器学习
2023-08-22 v2 计算与语言
摘要
自然语言处理（NLP）拥有丰富的移动应用。为支持各类语言理解任务，基础 NLP 模型常以联邦化、保护隐私的设置（FL）进行微调。该过程目前依赖来自移动客户端至少数十万条带标签训练样本；然而移动用户往往缺乏标注其数据的意愿或知识。这种数据标签的不足被称为少样本场景；它成为移动 NLP 应用的关键阻碍。本工作首次研究了少样本场景下的联邦 NLP（FedFSL）。通过改造伪标注与提示学习的算法进展，我们首先建立了一个训练流程，在仅 0.05%（少于 100 条）训练数据被标注、其余为未标注时仍能给出有竞争力的准确率。为实例化该工作流，我们进一步提出系统 FeS，以新颖设计解决高执行成本问题。（1）课程 pacing，以与学习进度相称的速率向训练工作流注入伪标签；（2）表征多样性，一种筛选最具可学性数据的机制，仅对这些数据生成伪标签；（3）模型训练深度与层容量的协同规划。这些设计共同将训练延迟、客户端能耗与网络流量分别最多降低 46.0、41.2 与 3000.0。通过算法/系统协同设计，FFNLP 证明了 FL 可应用于大多数训练样本未标注的极具挑战性设置。
引用
@article{arxiv.2212.05974,
title = {Federated Few-Shot Learning for Mobile NLP},
author = {Dongqi Cai and Shangguang Wang and Yaozong Wu and Felix Xiaozhu Lin and Mengwei Xu},
journal= {arXiv preprint arXiv:2212.05974},
year = {2023}
}
备注
MobiCom 2023