基于多目标与多信息源贝叶斯优化的公平且绿色超参数优化
机器学习
2022-05-19 v1 最优化与控制
机器学习
摘要
学界共识认为,在搜索最优机器学习模型时仅关注准确率会放大数据中存在的偏差,导致不公平的预测与决策支持。近来,多目标超参数优化被提出用于搜索在准确率与公平性之间提供同等帕累托(Pareto)高效权衡的机器学习模型。尽管这些方法比公平感知机器学习算法(其在公平性阈值约束下优化准确率)更为通用,但在大型数据集情形下可能急剧增加能耗。本文提出 FanG-HPO,一种基于多目标与多信息源贝叶斯优化的公平且绿色超参数优化(HPO)方法。FanG-HPO 利用大型数据集的子集(即信息源)来获得准确率与公平性的廉价近似,并利用多目标贝叶斯优化高效识别帕累托高效的机器学习模型。实验考虑了两个基准(公平性)数据集与两种机器学习算法(XGBoost 与多层感知机),并在 BoTorch(一个前沿的贝叶斯优化平台)中通过多目标单源优化算法,将 FanG-HPO 与公平感知机器学习算法及超参数优化进行了对比评估。
引用
@article{arxiv.2205.08835,
title = {Fair and Green Hyperparameter Optimization via Multi-objective and Multiple Information Source Bayesian Optimization},
author = {Antonio Candelieri and Andrea Ponti and Francesco Archetti},
journal= {arXiv preprint arXiv:2205.08835},
year = {2022}
}