用于生存分析的概率神经网络的高效训练
机器学习
2024-06-25 v3
摘要
变分推断 (VI) 是深度学习模型中用于近似贝叶斯推断和不确定性估计的常用技术，但其计算成本较高，因为用于表示不确定性的可训练参数数量会翻倍。这在高维设定中迅速成为挑战，从而促使人们使用诸如 Monte Carlo Dropout (MCD) 或谱归一化神经高斯过程 (SNGP) 等替代推断技术。然而，这些方法在生存分析中鲜少被采用，VI 仍然是训练概率神经网络的主流方法。在本文中，我们研究了如何在不引入额外模型复杂度开销的情况下，在大型数据集上训练深度概率生存模型。为此，我们采用了三种概率方法，即 VI、MCD 和 SNGP，并从预测性能、校准性能和模型复杂度方面对它们进行了评估。在概率生存分析的背景下，我们研究了非 VI 技术能否提供与 VI 相当或可能更优的预测性能和不确定性校准。在 MIMIC-IV 数据集上，我们发现使用 hinge loss 时，MCD 在一致性指数 (0.748 vs. 0.743) 和平均绝对误差 (254.9 vs. 254.7) 上与 VI 一致，同时提供 C 校准的不确定性估计。此外，与 VI 相比 (4/4 vs. 2/4)，我们的 SNGP 实现在所有数据集上均提供了 D 校准的生存函数。我们的工作鼓励在计算效率和开销备受关注的高维数据集中，使用 VI 的替代技术进行生存分析。
引用
@article{arxiv.2404.06421,
title = {Efficient Training of Probabilistic Neural Networks for Survival Analysis},
author = {Christian Marius Lillelund and Martin Magris and Christian Fischer Pedersen},
journal= {arXiv preprint arXiv:2404.06421},
year = {2024}
}