TANGOS：通过梯度正交化与专门化正则化表格神经网络
机器学习
2023-03-10 v1 人工智能
机器学习
摘要
尽管深度神经网络在非结构化数据上取得了成功，但它们还不是结构化表格数据的万灵药。在表格领域，其效率关键依赖于各种形式的正则化以防止过拟合并提供强大的泛化性能。现有的正则化技术包括广泛的建模决策，如架构、损失函数和优化方法的选择。在这项工作中，我们引入了表格神经梯度正交化与专门化（TANGOS），一种建立在潜在单元归因基础上的表格设置正则化新框架。激活相对于给定输入特征的梯度归因表明了该神经元如何关注该特征，并常用于解释深度网络的预测。在 TANGOS 中，我们采取不同的方法，将神经元归因直接纳入训练，以鼓励全连接网络中潜在归因的正交化与专门化。我们的正则化器鼓励神经元聚焦于稀疏、不重叠的输入特征，并产生一组多样且专门化的潜在单元。在表格领域，我们证明了我们的方法可以带来更好的样本外泛化性能，优于其他流行的正则化方法。我们深入分析了我们的正则化器为何有效，并证明 TANGOS 可与现有方法联合应用以实现更强的泛化性能。
引用
@article{arxiv.2303.05506,
title = {TANGOS: Regularizing Tabular Neural Networks through Gradient Orthogonalization and Specialization},
author = {Alan Jeffares and Tennison Liu and Jonathan Crabbé and Fergus Imrie and Mihaela van der Schaar},
journal= {arXiv preprint arXiv:2303.05506},
year = {2023}
}
备注
Published at International Conference on Learning Representations (ICLR) 2023