调优得当的简单网络在表格数据集上表现卓越
机器学习
2021-11-08 v2
摘要
表格数据集是深度学习最后一座“未被攻克的城堡”，即便面对近期专门的神经架构，梯度提升决策树等传统ML方法仍表现强劲。在本文中，我们假设提升神经网络性能的关键在于重新思考大量现代正则化技术的联合与同步应用。因此，我们提出通过对“应用哪些正则化器及其附属超参数”这一决策进行联合优化，为每个数据集搜索13种正则化技术的最优组合/配方来正则化普通多层感知机（MLP）网络。我们在一个包含40个表格数据集的大规模实证研究中经验性地评估了这些MLP正则化配方的影响，并证明（i）正则化良好的普通MLP显著优于近期最先进的专门神经架构，且（ii）它们甚至优于XGBoost等强大的传统ML方法。
引用
@article{arxiv.2106.11189,
title = {Well-tuned Simple Nets Excel on Tabular Datasets},
author = {Arlind Kadra and Marius Lindauer and Frank Hutter and Josif Grabocka},
journal= {arXiv preprint arXiv:2106.11189},
year = {2021}
}