联合显式与隐式跨模态交互网络用于前房炎症诊断
计算机视觉与模式识别
2024-10-29 v3 多媒体
摘要
葡萄膜炎要求精确诊断前房炎症（ACI）以实现最佳治疗。然而，当前诊断方法仅依赖有限的单模态疾病视角，导致性能不佳。在本文中，我们探索了一种有前景但颇具挑战性的方法，即融合多模态数据用于ACI诊断。值得注意的是，现有融合范式侧重于增强隐式模态交互（即自注意力及其变体），但忽略了注入显式模态交互，尤其是来自临床知识和成像特性的交互。为此，我们提出了一种联合显式与隐式跨模态交互网络（EiCI-Net），用于前房炎症诊断，该网络联合使用前段光学相干断层扫描（AS-OCT）图像、裂隙灯图像和临床数据。具体而言，我们首先开发了基于CNN的编码器和表格处理模块（TPM），以提取不同模态中的高效特征表示。然后，我们设计了一个显式跨模态交互模块（ECIM），基于表格特征图生成注意力图作为一种显式临床知识，并将其集成到裂隙灯特征图中，使基于CNN的编码器能够聚焦于裂隙灯图像中更有效的信息。此后，隐式跨模态交互模块（ICIM），一个基于Transformer的网络，进一步隐式地增强模态交互。最后，我们从合作医院构建了一个相当规模的真实世界数据集，并进行了充分的实验，以证明我们提出的EiCI-Net在各项指标上相较于最先进分类方法的优越性能。
引用
@article{arxiv.2312.06171,
title = {Joint Explicit and Implicit Cross-Modal Interaction Network for Anterior Chamber Inflammation Diagnosis},
author = {Qian Shao and Ye Dai and Haochao Ying and Kan Xu and Jinhong Wang and Wei Chi and Jian Wu},
journal= {arXiv preprint arXiv:2312.06171},
year = {2024}
}
备注
IEEE MedAI 2024