面向去中心化多任务学习：基于层面的方法
机器学习
2025-06-10 v2
摘要
联邦多任务学习（FMTL）旨在不共享敏感原始数据的情况下同时学习多个相互关联的任务。然而，在去中心化设置下，现有FMTL框架在捕捉复杂任务关系和处理跨客户端的特征和样本异质性方面受限。为此，本文引入一种基于层论的FMTL方法。通过将客户端关系表示为细胞层，本框架能够灵活地建模异构客户端模型之间的相互作用。我们使用层拉普拉斯正则化来构建层基于FMTL的优化问题，并提出Sheaf-FMTL算法进行求解。我们证明，所提出的框架提供了涵盖许多现有联邦学习（FL）和FMTL方法的统一视角。此外，我们证明所提出的算法Sheaf-FMTL在与最先进的去中心化FMTL算法相持的收敛率为亚线性。大量实验表明，尽管Sheaf-FMTL因管理交互图而引入计算和存储开销，但在传输位数方面相较于去中心化FMTL基线方法实现了显著的通信节省。这一权衡使Sheaf-FMTL特别适用于跨硅谷FL场景，在此场景中既需要管理模型异质性，又需要确保通信效率，且客户端拥有充足的计算资源。
引用
@article{arxiv.2502.01145,
title = {Tackling Feature and Sample Heterogeneity in Decentralized Multi-Task Learning: A Sheaf-Theoretic Approach},
author = {Chaouki Ben Issaid and Praneeth Vepakomma and Mehdi Bennis},
journal= {arXiv preprint arXiv:2502.01145},
year = {2025}
}
备注
Accepted at TMLR