基于预测共识的协作学习
机器学习
2023-11-16 v3
摘要
我们考虑一种协作学习设置，其中每个智能体的目标是通过利用协作者的专业知识以及自身的训练数据来改进自己的模型。为促进智能体间专业知识的交换，我们提出了一种基于蒸馏的方法，利用由集体伪标记的共享无标签辅助数据。我们方法的核心是一种信任加权方案，用于自适应地权衡每个协作者对伪标签的影响，直到就如何标注辅助数据达成共识。我们通过实证表明，我们的协作方案能够显著提升从辅助数据采样的目标域中个体模型的性能。根据设计，我们的方法能灵活适应模型架构的异质性，并与典型协作学习方法相比大幅降低通信开销。同时，它可证明能减轻不良模型对集体的负面影响。
引用
@article{arxiv.2305.18497,
title = {Collaborative Learning via Prediction Consensus},
author = {Dongyang Fan and Celestine Mendler-Dünner and Martin Jaggi},
journal= {arXiv preprint arXiv:2305.18497},
year = {2023}
}
备注
Accepted to the 37th Conference on Neural Information Processing Systems (NeurIPS 2023)