面向异构数据且具常数通信复杂度的联邦深度 AUC 最大化
机器学习
2021-09-14 v3 分布式、并行与集群计算
最优化与控制
机器学习
摘要
深度 AUC（ROC 曲线下面积）最大化（DAM）因在不平衡数据分类中的巨大潜力而近期备受关注。然而，关于联邦深度 AUC 最大化（FDAM）的研究仍十分有限。相较于关注可分解最小化目标的标准联邦学习（FL）方法，FDAM 因其最小化目标在单个样本上不可分解而更为复杂。本文中，我们通过以分布式方式求解 DAM 中流行的非凸强凹极小极大形式，提出了面向异构数据的改进 FDAM 算法，该算法亦可应用于一类非凸强凹极小极大问题。本文一个引人注目的结果是，所提算法的通信复杂度为与机器数量无关、亦与精度水平无关的常数，较已有结果改善了数个数量级。实验在基准数据集及来自不同机构的医学胸部 X 光图像上验证了 FDAM 算法的有效性。我们的实验表明，使用多家医院数据训练的 FDAM 可提升在单家医院胸部 X 光片上检测致命性疾病的测试 AUC 分数。所提方法已在我们的开源库 LibAUC（www.libauc.org）中实现，其 github 地址为 https://github.com/Optimization-AI/ICML2021_FedDeepAUC_CODASCA。
引用
@article{arxiv.2102.04635,
title = {Federated Deep AUC Maximization for Heterogeneous Data with a Constant Communication Complexity},
author = {Zhuoning Yuan and Zhishuai Guo and Yi Xu and Yiming Ying and Tianbao Yang},
journal= {arXiv preprint arXiv:2102.04635},
year = {2021}
}
备注
Accepted by ICML2021. Code is available in https://github.com/Optimization-AI/ICML2021_FedDeepAUC_CODASCA, which is a part of our open-sourced library LibAUC (www.libauc.org)