TNF：面向多模态医学数据分类的三分支神经融合
计算机视觉与模式识别
2024-03-12 v3
摘要
本文提出了一种三分支神经融合（TNF）方法，旨在对多模态医学图像和表格数据进行分类。同时，本文还引入了两种解决方案来应对多模态分类中的标签不一致挑战。传统的多模态医学数据分类方法通常依赖单标签方法，典型做法是融合来自两种不同输入模态的特征。当特征互斥或不同模态的标签不同时，这会导致问题，从而降低准确性。为克服这一问题，我们的TNF方法实现了一个三分支框架，管理三个独立的输出：一个用于图像模态，一个用于表格模态，第三个混合输出融合了图像和表格数据。最终决策通过集成所有三个分支的似然来实现。我们通过大量实验验证了TNF的有效性，实验结果表明，在多个数据集上，TNF在各种卷积神经网络和基于Transformer的架构中均优于传统的融合和集成方法。
引用
@article{arxiv.2403.01802,
title = {TNF: Tri-branch Neural Fusion for Multimodal Medical Data Classification},
author = {Tong Zheng and Shusaku Sone and Yoshitaka Ushiku and Yuki Oba and Jiaxin Ma},
journal= {arXiv preprint arXiv:2403.01802},
year = {2024}
}