使用神经网络学习特征交互的局部最优研究
机器学习
2020-02-12 v1 机器学习
摘要
在生物信息学、高能物理、配电等诸多领域中，期望学习非线性模型，其中选出少量变量并显式建模它们之间的交互以预测响应。原则上，神经网络（NNs）可以完成此任务，因为它们能很好地建模非线性特征交互。然而，NNs 需要大量训练数据才能具有良好的泛化能力。在本文中，我们研究数据匮乏机制，即 NN 在相对少量的训练数据上训练。为此，我们研究 NN 的特征选择，已知其能改善线性模型的泛化。作为具有特征选择和特征交互的数据的极端情况，我们研究了带有无关变量的类 XOR 数据。我们通过实验观察到，类 XOR 数据上的交叉熵损失函数具有许多不等价的局部最优，且局部最优的数量随无关变量数量呈指数增长。为处理局部极小并进行特征选择，我们提出了一种节点剪枝与特征选择算法，该算法提高了 NN 即使在存在无关变量时找到更好局部极小的能力。最后，我们展示了使用剪枝可改善 NN 在真实数据集上的性能，在少量特征上获得紧凑网络，并具有良好预测性与可解释性。
引用
@article{arxiv.2002.04322,
title = {A study of local optima for learning feature interactions using neural networks},
author = {Yangzi Guo and Adrian Barbu},
journal= {arXiv preprint arXiv:2002.04322},
year = {2020}
}