MEATRD：结合空间转录组学增强的多模态异常组织区域检测

在临床诊断和病理研究中，检测受累组织中的异常组织区域（ATR）至关重要。传统的自动化 ATR 检测方法主要仅依赖组织学图像，在 ATR 与正常组织视觉差异微小的情况下往往效果不佳。新兴的空间转录组学（ST）技术能够刻画各组织区域的基因表达谱，为检测 ATR 提供了分子视角。然而，目前缺乏能有效利用组织学图像与 ST 互补信息的 ATR 检测方法。为填补这一空白，我们提出了 MEATRD，一种整合组织学图像与 ST 数据的新型 ATR 检测方法。MEATRD 被训练用于从正常组织点（inliers）的多模态嵌入中重建图像块和基因表达谱，随后基于潜在的多模态重建误差学习一类分类异常检测（AD）模型。该策略融合了基于重建的方法与一类分类方法的优势。MEATRD 的核心是一个创新的掩码图双注意力 Transformer（MGDAT）网络，它不仅促进了跨模态与跨节点的信息共享，还解决了基于重建的 AD 方法中常见的模型过度泛化问题。此外，我们证明了特定于模态的、与任务相关的信息在 MGDAT 生成的多模态瓶颈编码中被整理与浓缩，这标志着对多模态瓶颈编码信息属性的首次理论分析。在八个真实 ST 数据集上的广泛评估表明，MEATRD 在 ATR 检测中表现卓越，超越了多种最先进的 AD 方法。值得注意的是，MEATRD 还被证明能够有效识别与正常组织仅有轻微视觉偏差的 ATR。