(GG) MoE与MLP在表格数据上的比较
机器学习
2025-02-07 v1 人工智能
摘要
近年来，大量工作致力于将现代神经网络架构适用于表格数据。然而，尽管这些模型拥有更多参数且训练和推理时间更长，这些模型往往难以持续超过普通多层感知器(MLP)神经网络。此外，MLP基于集成的方法最近显示出优于先进深度学习方法的更佳性能和效率。因此，与其关注构建更深且更复杂的深度学习模型，不如考虑在不牺牲性能的前提下，用更高效的架构来取代MLP神经网络。在本文中，我们首先引入GG MoE，这是一种带有Gumbel-Softmax门控函数的混合专家(MoE)模型。然后，我们展示在个数据集上，GG MoE配合嵌入层的性能均高于标准MoE和MLP模型。最后，我们表明，无论是MoE还是GG MoE都显著少于MLP的参数数量，使其成为扩缩和集成方法的有前景的替代方案。
关键词
引用
@article{arxiv.2502.03608,
title = {(GG) MoE vs. MLP on Tabular Data},
author = {Andrei Chernov},
journal= {arXiv preprint arXiv:2502.03608},
year = {2025}
}