迈向高效信息融合：基于同心双重融合注意力的多实例学习用于全切片图像
计算机视觉与模式识别
2024-10-11 v2
摘要
在数字病理学领域，多放大倍率多实例学习（multi-mag MIL）已被证明能有效利用全切片图像（WSIs）的层次结构来减少信息丢失和冗余数据。然而，当前方法在弥合预训练模型与医学成像之间的领域差距方面存在不足，并且常常未能考虑不同放大倍率间的空间关系。为应对这些挑战，我们引入了同心双重融合注意力-MIL（CDFA-MIL）框架，该框架创新性地利用同心斑块结合了点对区域特征列注意力和点对点同心行注意力。此方法旨在有效融合相关信息，增强特征表示，并为WSI分析提供更强的相关性引导。CDFA-MIL以其鲁棒的融合策略脱颖而出，实现了优越的WSI识别。其应用已展现出卓越性能，在Camelyon16和TCGA-NSCLC等著名数据集上的准确率和F1分数显著超越了现有的MIL方法。具体而言，CDFA-MIL在这些数据集上分别达到了93.7%和94.1%的平均准确率和F1分数，标志着对传统MIL方法的显著进步。
引用
@article{arxiv.2403.14346,
title = {Towards Efficient Information Fusion: Concentric Dual Fusion Attention Based Multiple Instance Learning for Whole Slide Images},
author = {Yujian Liu and Ruoxuan Wu and Xinjie Shen and Zihuang Lu and Lingyu Liang and Haiyu Zhou and Shipu Xu and Shaoai Cai and Shidang Xu},
journal= {arXiv preprint arXiv:2403.14346},
year = {2024}
}
备注
Need for additional experiments