MrTF：面向转导式联邦学习的模型精炼框架
机器学习
2023-05-09 v1
摘要
我们考虑一个真实场景：在一个新建立的试点项目中，需要在隐私保护政策下借助其他参与方对新收集的数据进行推断。当前的联邦学习（FL）范式致力于解决数据异构问题，却未考虑待推断数据。我们提出一种名为转导式联邦学习（TFL）的新学习范式，同时考虑待推断数据的结构信息。一方面，服务器可利用预先可用的测试样本精炼聚合模型以实现鲁棒模型融合，从而解决FL中的数据异构问题。另一方面，精炼过程将测试样本纳入训练，并能以转导方式生成更好的预测。我们提出若干技术，包括稳定化教师、校正蒸馏和聚类标签精炼，以促进模型精炼过程。大量实验研究验证了所提出的面向转导式联邦学习的模型精炼框架（MrTF）的优越性。源代码见 \url{https://github.com/lxcnju/MrTF}。
引用
@article{arxiv.2305.04201,
title = {MrTF: Model Refinery for Transductive Federated Learning},
author = {Xin-Chun Li and Yang Yang and De-Chuan Zhan},
journal= {arXiv preprint arXiv:2305.04201},
year = {2023}
}
备注
Minor Revision to DMKD Journal