基于多模态学习的疾病预测
图像与视频处理
2023-07-20 v1 计算机视觉与模式识别
机器学习
摘要
非酒精性脂肪性肝病（NAFLD）是慢性肝病最常见的病因，若能准确预测可预防其进展为晚期纤维化和肝硬化。然而，作为NAFLD诊断金标准的肝活检具有侵入性、费用高且易出现采样误差。因此，非侵入性研究极具前景，但由于缺乏多模态数据的综合研究数据与智能方法，该类研究仍处于起步阶段。本文提出一种NAFLD诊断系统（DeepFLDDiag），其结合了综合临床数据集（FLDData）与基于多模态学习的NAFLD预测方法（DeepFLD）。该数据集包含超过6000名受试者的体格检查、实验室与影像学研究、广泛问卷以及部分受试者的面部图像，对临床研究而言全面且极具价值。基于该数据集，我们定量分析了最有助于NAFLD预测的临床元数据并进行了筛选。此外，所提出的DeepFLD是一种利用多模态输入（包括元数据与面部图像）预测NAFLD的深度神经网络模型，其性能优于仅使用元数据的方法。在其他未见数据集上也验证了令人满意的性能。令人鼓舞的是，DeepFLD仅以面部图像而非元数据作为输入即可取得具有竞争力的结果，为更稳健且更简便的非侵入性NAFLD诊断铺平了道路。
引用
@article{arxiv.2307.09823,
title = {Multi-modal Learning based Prediction for Disease},
author = {Yaran Chen and Xueyu Chen and Yu Han and Haoran Li and Dongbin Zhao and Jingzhong Li and Xu Wang},
journal= {arXiv preprint arXiv:2307.09823},
year = {2023}
}