通过 NAS 实现更公平且更准确的表格模型

使表格数据模型在算法上更公平已被长期研究，相关技术通常倾向于修复手段，即取一个具有不良输出的神经模型，并对数据摄入方式、模型权重或输出后处理方式作出修改。我们采用一种新兴且不同的策略：考虑更新模型架构与训练超参数，从去偏过程一开始就寻找具有更优结果的崭新模型。本文中，我们提出在多目标神经架构搜索（NAS）与超参数优化（HPO）的首次应用中，处理极具挑战的表格数据领域。我们对架构与超参数空间（MLP、ResNet 与 FT-Transformer）在多个数据集上作了广泛探索，展示了模型预测的准确率与公平性度量对超参数组合的依赖性。我们表明，仅以准确率为目标用 NAS 优化的模型往往无法内在地解决公平性问题。我们提出一种新方法，在多目标约束下联合优化架构与训练超参数，同时兼顾准确率与公平性。我们生成的架构在公平性、准确率或两者上持续 Pareto 支配最先进的偏差缓解方法，且均是通过单目标（准确率）优化所得超参数上的 Pareto 最优。本研究凸显了在深度学习模型中自动化公平性与准确率优化的前景。