面向含缺失值的纵向多模态多视图预测的统一模型
计算机视觉与模式识别
2024-03-25 v2 人工智能
摘要
医疗记录通常包含不同模态，如图像、文本和表格信息。整合所有模态可提供患者状况的整体视图，而纵向分析则能更好地理解疾病进展。然而，现实世界的纵向医疗记录面临挑战：1) 患者可能在特定时间点缺少部分或全部数据，2) 在特定时期内，所有患者可能都缺少某些模态或视图。在本工作中，我们引入了一个面向含缺失值的纵向多模态多视图预测的统一模型。我们的方法允许输入任意数量的时间点，并旨在利用所有可用数据，无论其可用性如何。我们在骨关节炎倡议（Osteoarthritis Initiative）的膝关节骨关节炎数据集上进行了广泛实验，用于预测未来时间点的疼痛和 Kellgren-Lawrence 分级。通过将统一模型的结果与在训练和评估期间使用相同模态和视图组合的特定模型进行比较，我们证明了方法的有效性。我们还展示了拥有扩展时序数据的好处，并提供了事后分析，以更深入地理解每种模态/视图对不同任务的重要性。
引用
@article{arxiv.2403.12211,
title = {A Unified Model for Longitudinal Multi-Modal Multi-View Prediction with Missingness},
author = {Boqi Chen and Junier Oliva and Marc Niethammer},
journal= {arXiv preprint arXiv:2403.12211},
year = {2024}
}