MUFASA：面向电子健康记录的多模态融合架构搜索
机器学习
2021-10-07 v2 人工智能
计算与语言
摘要
将深度学习应用于电子健康记录（EHR）的一个重要挑战是其多模态结构的复杂性。EHR通常包含结构化（编码）与非结构化（自由文本）数据的混合，并具有稀疏且不规则的纵向特征——医生在决策时会利用所有这些特征。在深度学习领域，确定不同模态表征应如何融合是一个难题，通常借助手工建模与直觉来解决。本工作中，我们扩展state-of-the-art神经架构搜索（NAS）方法，并提出多模态融合架构搜索（MUFASA），首次同时搜索多模态融合策略与模态特定架构。我们通过实验证明，我们的MUFASA方法以可比的计算成本在公开EHR数据上优于已有的单模态NAS。此外，MUFASA生成的架构优于Transformer与Evolved Transformer。在CCS诊断编码预测上，与这些基线相比，我们发现模型将top-5召回率从0.88提升至0.91，并展示出泛化到其他EHR任务的能力。深入研究所获最优架构，我们提供经验证据：MUFASA的改进源于其既能为各数据模态定制建模，又能发现有效的融合策略。
引用
@article{arxiv.2102.02340,
title = {MUFASA: Multimodal Fusion Architecture Search for Electronic Health Records},
author = {Zhen Xu and David R. So and Andrew M. Dai},
journal= {arXiv preprint arXiv:2102.02340},
year = {2021}
}
备注
Accepted for publication at the Thirty-Fifth AAAI Conference on Artificial Intelligence (AAAI-21)