大规模多模态 Transformer 在医学诊断中的应用：利用多样化数据实现更精准的诊断
机器学习
2022-12-21 v2 人工智能
摘要
多模态深度学习已被用于从临床常规数据中预测临床终点和诊断结果。然而，这些模型面临扩展性问题：它们必须学习每种数据类型中每项信息之间的成对交互，导致模型复杂度超出可管理的规模。这至今阻碍了多模态深度学习的广泛应用。本文提出一种名为“可学习协同”的新技术方法，模型仅选择数据模态间的相关交互，并保留相关数据的“内部记忆”。该方法易于扩展，并能自然地适应临床常规中的多模态数据输入。我们在放射学和眼科学的三个大型多模态数据集上验证了该方法，结果表明其在临床相关诊断任务中优于当前最先进的模型。我们的新方法具有可迁移性，将使多模态深度学习能够应用于广泛的临床相关问题。
引用
@article{arxiv.2212.09162,
title = {Medical Diagnosis with Large Scale Multimodal Transformers: Leveraging Diverse Data for More Accurate Diagnosis},
author = {Firas Khader and Gustav Mueller-Franzes and Tianci Wang and Tianyu Han and Soroosh Tayebi Arasteh and Christoph Haarburger and Johannes Stegmaier and Keno Bressem and Christiane Kuhl and Sven Nebelung and Jakob Nikolas Kather and Daniel Truhn},
journal= {arXiv preprint arXiv:2212.09162},
year = {2022}
}