基于偏移分布上多目标贝叶斯优化的高维限制性联邦模型选择
机器学习
2019-08-12 v2 机器学习
摘要
提出了一种称为限制性联邦模型选择（RFMS）的新型机器学习优化过程，适用于例如医疗单位的数据不能离开其所在站点，且由于技术或隐私与信任问题禁止在远程数据站点上执行训练算法的场景。在此场景下开展临床研究时，分析员只能在本地数据站点上训练机器学习模型，但仍可以以一定代价执行统计查询，即将机器学习模型发送到某些远程数据站点并获取性能度量作为反馈，这可能是因为预测通常便宜得多。与通过在所有数据站点上直接训练来优化模型参数的联邦学习相比，RFMS仅在单一本地数据站点上训练模型参数，但联合优化其他数据站点上的超参数，因为超参数在机器学习性能中起着重要作用。目标是获得关于本地与远程未见预测损失的帕累托最优模型，从而能很好地跨数据站点泛化。在这项工作中，我们特别考虑数据站点间具有偏移分布的高维数据。作为初步研究，使用贝叶斯优化尤其是多目标贝叶斯优化来引导自适应超参数优化过程，以在RFMS场景下选择模型。实证结果表明，仅使用本地数据站点调整超参数跨数据站点泛化性差，相较于利用本地与远程性能的方法。此外，就支配超体积而言，多目标贝叶斯优化算法在多个候选中表现出跨多个数据站点的性能提升。
引用
@article{arxiv.1902.08999,
title = {High Dimensional Restrictive Federated Model Selection with multi-objective Bayesian Optimization over shifted distributions},
author = {Xudong Sun and Andrea Bommert and Florian Pfisterer and Jörg Rahnenführer and Michel Lang and Bernd Bischl},
journal= {arXiv preprint arXiv:1902.08999},
year = {2019}
}