面向表格数据的神经元网络初始化方案
机器学习
2023-11-27 v2
摘要
如今，许多现代应用需要异质表格数据，这在回归与分类方面仍是一项具有挑战性的任务。已有许多方法被提出以使神经网络适应此任务，但决策树的提升与装袋仍是该任务中性能最佳的方法。在本文中，我们展示了二项初始化神经网络可有效用于表格数据。所提方法为神经网络第一隐藏层初始化提供了一种简单而有效的途径。我们还展示了该初始化方案可通过向批次样本添加梯度掩码并使用神经网络最后一层的二项初始化来联合训练集成模型。为此，我们修改了铰链二值损失与软最大化损失，使其适用于联合集成训练。我们在多个公开数据集上评估了我们的方法，并展示了相较于其他基于神经网络方法的性能提升。此外，我们讨论了该方法的局限性及可能的进一步研究，以改进神经网络在表格数据上的适用性。链接：https://es-cloud.cs.uni-tuebingen.de/d/8e2ab8c3fdd444e1a135/?p=%2FInitializationNeuronalNetworksTabularData&mode=list
引用
@article{arxiv.2311.03996,
title = {An Initialization Schema for Neuronal Networks on Tabular Data},
author = {Wolfgang Fuhl},
journal= {arXiv preprint arXiv:2311.03996},
year = {2023}
}