深度学习与传统方法在疾病发病预测中的比较
机器学习
2024-10-15 v1
摘要
背景：逻辑回归和梯度提升等传统预测方法因其可靠性和可解释性而被广泛用于疾病发病预测。深度学习方法有望通过从临床数据中提取复杂模式来提高预测性能，但面临数据稀疏和高维性等挑战。方法：本研究使用来自北美、欧洲和亚洲的十一个数据库的观察性数据，比较了传统方法和深度学习方法在预测痴呆症、双相情感障碍和肺癌方面的表现。使用逻辑回归、梯度提升、ResNet和Transformer开发了模型，并在各数据源上进行了内部和外部验证。判别性能使用AUROC评估，校准性能使用Eavg评估。结果：在11个数据集中，传统方法在判别性能上普遍优于深度学习方法，尤其是在外部验证中，凸显了其更好的可迁移性。学习曲线表明，深度学习模型需要更大的数据集才能达到与传统方法相同的性能水平。校准性能方面，传统方法也更好，其中ResNet的校准性能最差。解释：尽管深度学习模型能够提取结构化观察性医疗数据中的复杂模式，但传统模型在疾病发病预测方面仍具有很强的竞争力，尤其是在数据集较小或需要避免较长训练时间的情况下。本研究强调需要未来研究优化深度学习模型，以处理医疗数据固有的稀疏性、高维性和异质性，并寻找新策略以充分利用深度学习方法的潜力。
关键词
引用
@article{arxiv.2410.10505,
title = {Comparison of deep learning and conventional methods for disease onset prediction},
author = {Luis H. John and Chungsoo Kim and Jan A. Kors and Junhyuk Chang and Hannah Morgan-Cooper and Priya Desai and Chao Pang and Peter R. Rijnbeek and Jenna M. Reps and Egill A. Fridgeirsson},
journal= {arXiv preprint arXiv:2410.10505},
year = {2024}
}