基于StyleGAN嵌入使用肖像照片的深度学习癌症预后预测
图像与视频处理
2024-07-26 v3 计算机视觉与模式识别
摘要
癌症患者的生存预测对于优化治疗选择与患者管理至关重要。当前患者生存预测方法通常从患者的临床记录数据或生物与影像数据中提取生存信息。实践中，经验丰富的临床医生可基于患者可观察到的体貌特征（主要为面部特征）对其健康状况作出初步评估。然而，此类评估高度主观。本工作首次探究了利用深度学习客观捕获并使用常规肖像照片中所含预后信息以进行生存预测的功效。一个预训练的StyleGAN2模型在我们癌症患者照片的自定义数据集上进行了微调，使其生成器具备适用于患者照片的生成能力。随后使用该StyleGAN2将照片嵌入其高表现力潜空间。利用最先进的生存分析模型并基于StyleGAN的潜空间照片嵌入，该方法取得了0.677的C-index，显著高于随机水平，证明了简单2D面部图像中蕴含的预后价值。此外，得益于StyleGAN可解释的潜空间，我们的生存预测模型可被验证为依赖于本质面部特征，消除了来自衣物或背景等无关信息的任何偏倚。而且，从回归系数中获得了一种健康属性，其对患者照护具有重要潜在价值。
引用
@article{arxiv.2306.14596,
title = {Deep Learning for Cancer Prognosis Prediction Using Portrait Photos by StyleGAN Embedding},
author = {Amr Hagag and Ahmed Gomaa and Dominik Kornek and Andreas Maier and Rainer Fietkau and Christoph Bert and Florian Putz and Yixing Huang},
journal= {arXiv preprint arXiv:2306.14596},
year = {2024}
}
备注
MICCAI 2024 Early Accept