联邦域泛化算法基准测试
机器学习
2024-04-12 v2
摘要
尽管先前的域泛化（DG）基准考虑了训练-测试数据集异质性，我们评估了引入联邦学习（FL）特有挑战的联邦域泛化（Federated DG）。此外，我们探索客户端本地数据集中基于域的异质性——一种现实的联邦域泛化场景。先前的联邦域泛化评估在客户端数量或异质性以及数据集多样性方面存在局限。为弥补此不足，我们提出一种联邦域泛化基准方法论，可控制客户端数量与异质性，并提供数据集难度指标。我们随后将该方法论应用于评估 14 种联邦域泛化方法，包括适配至 FL 环境的集中式 DG 方法、处理客户端异质性的 FL 方法，以及专为联邦域泛化设计的方法。我们的结果表明，尽管取得一定进展，联邦域泛化仍存在显著性能差距，尤其在使用大量客户端、高客户端异质性或更真实数据集评估时。请见我们的可扩展基准代码：https://github.com/inouye-lab/FedDG_Benchmark。
引用
@article{arxiv.2307.04942,
title = {Benchmarking Algorithms for Federated Domain Generalization},
author = {Ruqi Bai and Saurabh Bagchi and David I. Inouye},
journal= {arXiv preprint arXiv:2307.04942},
year = {2024}
}