基于图模型先验的结构化协作学习
机器学习
2023-06-22 v2 人工智能
摘要
我们研究如何在本地数据有限的去中心化设备上为不同任务训练个性化模型。提出“结构化协作学习（SCooL）”，其中跨设备的协作图由图模型先验生成，以自动协调设备间的互学习。通过选择强制不同结构的图模型，可经变分推断导出一类丰富的已有及新颖去中心化学习算法。具体地，展示 SCooL 的三个实例化，分别采用狄拉克分布、随机块模型（SBM）与注意力作为生成协作图的先验。这些 EM 型算法在更新协作图与本地模型协作学习间交替，仅通过监测各设备模型更新即可自动捕获跨任务关联，从而优化协作图。我们在大量基准上评估 SCooL 并与已有去中心化学习方法比较，SCooL 始终取得个性化模型最高精度，且在通信效率上显著优于其他基线。代码见 https://github.com/ShuangtongLi/SCooL。
引用
@article{arxiv.2306.09595,
title = {Structured Cooperative Learning with Graphical Model Priors},
author = {Shuangtong Li and Tianyi Zhou and Xinmei Tian and Dacheng Tao},
journal= {arXiv preprint arXiv:2306.09595},
year = {2023}
}
备注
Accepted by icml 2023