通过结构化跨模态表征一致性实现临床辅助结直肠息肉识别
计算机视觉与模式识别
2022-06-27 v2
摘要
结直肠息肉分类是一项关键的临床检查。为提高分类准确率，大多数计算机辅助诊断算法采用窄带成像（NBI）来识别结直肠息肉。然而，由于在使用白光（WL）图像检测到息肉后，需手动切换光照模式才能获取该特定图像，NBI在真实临床场景中常面临未被充分利用的问题。为避免上述情况，我们提出一种新方法，通过结构化跨模态表征一致性直接实现准确的白光结肠镜图像分类。实践中，一对多模态图像（即NBI与WL）被输入共享的Transformer以提取分层特征表征。随后采用新设计的空间注意力模块（SAM）来计算类令牌与块令牌在特定模态图像多层级上的相似度。通过对齐配对NBI与WL图像在不同层级上的类令牌与空间注意力图，该Transformer获得了保持上述两种模态全局与局部表征一致性的能力。大量实验结果表明，所提方法以一定优势超越近期研究，在仅使用WL图像时以单一Transformer实现多模态预测并大幅提升分类准确率。
引用
@article{arxiv.2206.11826,
title = {Toward Clinically Assisted Colorectal Polyp Recognition via Structured Cross-modal Representation Consistency},
author = {Weijie Ma and Ye Zhu and Ruimao Zhang and Jie Yang and Yiwen Hu and Zhen Li and Li Xiang},
journal= {arXiv preprint arXiv:2206.11826},
year = {2022}
}
备注
Early Accepted by MICCAI 2022