M$^3$Care：多模态医疗数据中缺失模态的学习
机器学习
2022-11-01 v1 人工智能
摘要
多模态电子健康记录（EHR）数据广泛应用于临床。常规方法通常假设每个样本（患者）关联统一的已观测模态，且各样本所有模态均可用。然而，由各类临床与社会原因导致的模态缺失是真实临床场景中的常见问题。现有方法多依赖求解从潜空间到原始输入空间映射的生成模型，这是一个不稳定的病态逆问题。为缓解该欠定系统，我们提出了一种求解正问题的模型，称为多模态医疗数据中缺失模态的学习（M3Care）。M3Care是一种端到端模型，通过补偿缺失模态患者的缺失信息来执行临床分析。M3Care不生成原始缺失数据，而是借助由各患者相似邻体提供的辅助信息，在潜空间内填补缺失模态的任务相关信息；相似度由任务引导的模态自适应相似性度量衡量，继而执行临床任务。该任务引导的模态自适应相似性度量利用该患者及其他同样具有相同的未删失模态的患者之未删失模态来寻找相似患者。在真实数据集上的实验表明，M3Care优于最先进的基线方法。此外，M3Care所发现的结论与专家及医学知识一致，展现出提供有用洞见与解释的能力与潜力。
引用
@article{arxiv.2210.17292,
title = {M$^3$Care: Learning with Missing Modalities in Multimodal Healthcare Data},
author = {Chaohe Zhang and Xu Chu and Liantao Ma and Yinghao Zhu and Yasha Wang and Jiangtao Wang and Junfeng Zhao},
journal= {arXiv preprint arXiv:2210.17292},
year = {2022}
}
备注
9 pages