基于对抗学习的联邦少样本学习
机器学习
2021-04-02 v1 计算机视觉与模式识别
摘要
我们致力于在许多移动设备上为实际学习任务开发统一的机器学习模型，其中每个设备仅有极少的训练数据。这是移动计算场景中常见的情况，其中数据稀缺且分散，而任务各不相同。本文提出一种联邦少样本学习（FedFSL）框架，以学习一个少样本分类模型，该模型仅用少量标注样本即可对未见数据类别分类。借助联邦学习策略，FedFSL 可利用多数据源，同时保持数据隐私与通信效率。存在两个技术挑战：1）直接使用现有联邦学习方法可能导致客户端模型产生未对齐的决策边界；2）将决策边界约束为在客户端间相似会过拟合训练任务，而不能很好地适应未见任务。为解决这些问题，我们提出通过最小化客户端模型的散度来正则化本地更新。我们还将训练表述为对抗形式，并优化客户端模型以产生能更好表示未见数据样本的可判别特征空间。我们展示了直观解释并开展实验，表明我们的方法在视觉任务上超越基线逾 10%，在语言任务上超越 5%。
引用
@article{arxiv.2104.00365,
title = {Federated Few-Shot Learning with Adversarial Learning},
author = {Chenyou Fan and Jianwei Huang},
journal= {arXiv preprint arXiv:2104.00365},
year = {2021}
}