整体评估指标：面向联邦学习的用例敏感评估指标
机器学习
2024-05-07 v1 分布式、并行与集群计算
摘要
针对不同应用和不同视角，已有大量联邦学习（FL）算法被提出。然而，对这些方法的评估往往仅依赖单一指标（如准确率）。这种做法未能考虑不同用例的独特需求和多样化要求。因此，如何全面评估一个联邦学习算法并确定最适合特定用例的候选者，仍是一个悬而未决的问题。为弥补这一研究空白，本文引入了面向联邦学习的整体评估指标（HEM）。具体而言，我们共同关注三个主要用例：物联网（IoT）、智能设备和机构。该评估指标涵盖了准确率、收敛性、计算效率、公平性和个性化等多个方面。然后，我们为每个用例分配一个相应的重要性向量，以反映其独特的性能要求和优先级。最终，通过将这些指标分量与其各自的重要性向量相结合，生成HEM指数。通过在这三个主流用例中评估不同的联邦学习算法，我们的实验结果表明，HEM能够有效评估并识别出最适合特定场景的联邦学习算法。我们期望这项工作能为实际应用中实用联邦学习算法的评估过程提供启示。
引用
@article{arxiv.2405.02360,
title = {Holistic Evaluation Metrics: Use Case Sensitive Evaluation Metrics for Federated Learning},
author = {Yanli Li and Jehad Ibrahim and Huaming Chen and Dong Yuan and Kim-Kwang Raymond Choo},
journal= {arXiv preprint arXiv:2405.02360},
year = {2024}
}