基准测试评估表格深度学习中 MLP 的优化器
机器学习
2026-04-20 v2
摘要
MLP 是现代深度学习 (DL) 架构中用于表格数据监督学习的主要 Backbone，AdamW 是训练表格 DL 模型的首选优化器。然而，与架构设计不同的是，尽管新的优化器在其他领域显示出前景，但对于表格 DL 的优化器选择尚未进行系统性检视。为填补这一空白，我们在共享实验协议下，对 17 个表格数据集上的 15 个优化器进行基准测试，用于训练基于 MLP 的模型。我们的主要发现表明，Muon 优化器始终优于 AdamW，因此如果训练效率开销可接受，应该被视为实践者和研究人员的强大且实用的选择。此外，我们发现模型权重的指数移动平均是一种简单而有效的技术，可提升 AdamW 在 vanilla MLP 上的性能，但其效果在不同模型变体之间不够一致。
引用
@article{arxiv.2604.15297,
title = {Benchmarking Optimizers for MLPs in Tabular Deep Learning},
author = {Yury Gorishniy and Ivan Rubachev and Dmitrii Feoktistov and Artem Babenko},
journal= {arXiv preprint arXiv:2604.15297},
year = {2026}
}
备注
Code: https://github.com/yandex-research/tabular-dl-optimizers