用贝叶斯原理改进神经加性模型
机器学习
2024-10-29 v5 机器学习
摘要
神经加性模型（NAMs）通过在独立的加性子网络中分别处理输入特征，增强了深度神经网络的透明性。然而，它们缺乏提供校准不确定性以及实现相关特征与交互项选择的固有机制。从贝叶斯视角切入 NAMs，我们以三种主要方式对其扩充：a) 为各个加性子网络提供可信区间；b) 估计边际似然以通过经验贝叶斯过程隐式选择特征；c) 促进特征对排序以作为精调模型中二阶交互的候选。特别地，我们开发了拉普拉斯近似的 NAMs（LA-NAMs），其在表格数据集与具挑战性的真实世界医疗任务上均展现出改进的经验性能。
引用
@article{arxiv.2305.16905,
title = {Improving Neural Additive Models with Bayesian Principles},
author = {Kouroche Bouchiat and Alexander Immer and Hugo Yèche and Gunnar Rätsch and Vincent Fortuin},
journal= {arXiv preprint arXiv:2305.16905},
year = {2024}
}
备注
41st International Conference on Machine Learning (ICML 2024)