M3H：面向医疗的多模态多任务机器学习

开发一个集成多模态数据用于多个任务的众多端到框架，对统一医疗应用从诊断到操作具有至关重要。在资源受限的医院环境中，一个可扩展且统一的机器学习框架能够提升先前的预测性能，从而改善医院运营并节省成本。我们引入M3H——一个可解释的多模态多任务医疗机器学习框架，整合来自表格、时间序列、语言和视觉数据的学习，用于监督的二分类/多分类、回归和无监督聚类。它具有一种新颖注意力机制，在学习源任务（self-exploitation）和跨任务（cross-exploration）之间进行平衡，并通过提出的TIM得分提供可解释性，揭示任务学习相互依赖的动态。M3H涵盖了前所未有的医疗任务范围和机器学习问题类别，在16个医疗部门的40种疾病诊断、三个医院运营预测以及一个患者表型任务上，平均性能优于传统单任务模型11.6%。该框架的模块化设计确保了其在数据处理、任务定义和快速模型原型设计方面的通用性，使其在临床和运营医疗环境中具有生产就绪特性，尤其适用于资源受限的环境。