UNICORN：一种用于组织病理学多染色数据整合的深度学习模型
计算机视觉与模式识别
2024-09-27 v1
摘要
背景：通过深度学习整合多染色组织病理学图像是数字组织病理学中的一个重大挑战。当前的多模态方法难以应对数据异质性和数据缺失。本研究旨在通过开发一种新颖的多染色整合变压器模型来克服这些限制，该模型能够在训练和推理过程中处理缺失数据。方法：我们提出了UNICORN（通用模态整合网络用于冠状动脉分类），这是一种能够处理多染色组织病理学以进行动脉粥样硬化等级预测的多模态变压器。该架构包含一个两阶段、端到端可训练的模型，利用变压器自注意力块的专业模块。初始阶段采用领域特定的专家模块从每种模态中提取特征。在后续阶段，一个聚合专家模块通过学习不同数据模态之间的交互来整合这些特征。结果：使用来自慕尼黑心血管研究（MISSION）的动脉粥样硬化病变多类数据集进行评估，该数据集包含来自170名个体的冠状动脉树7个节段的超过4000张配对多染色全切片图像（WSIs），每种染色遵循四种组织病理学方案。UNICORN实现了0.67的分类准确率，优于其他最先进模型。该模型有效识别了跨染色的相关组织表型，并隐式建模了疾病进展。结论：我们提出的多模态变压器模型解决了医学数据分析中的关键挑战，包括数据异质性和模态缺失。可解释性以及模型在预测动脉粥样硬化进展方面的有效性凸显了其在医学研究中更广泛应用的潜力。
引用
@article{arxiv.2409.17775,
title = {UNICORN: A Deep Learning Model for Integrating Multi-Stain Data in Histopathology},
author = {Valentin Koch and Sabine Bauer and Valerio Luppberger and Michael Joner and Heribert Schunkert and Julia A. Schnabel and Moritz von Scheidt and Carsten Marr},
journal= {arXiv preprint arXiv:2409.17775},
year = {2024}
}