LQ-Adapter：用于乳头状癌检测的改进版ViT-Adapter带可学习查询
计算机视觉与模式识别
2024-12-03 v1
摘要
我们聚焦于从超声声像中检测乳头状癌（GBC）的问题。该问题因图像质量差（受噪声、纹理和视角变化影响）而给现代深度神经网络（DNN）技术带来独特挑战。要解决这些挑战，DNN必须具备精确的局部化性能，以识别下游恶性预测的关键特征。尽管近年来已提出多种方法解决此问题，但这些方法均采用复杂的定制体系结构。灵感来自自然图像任务中基础模型的成功，以及利用适配器对模型进行微调以适应特定任务，我们探讨了ViT-Adapter这一设计在GBC检测问题中的应用价值。我们观察到，ViT-Adapter主要依赖基于CNN的空间先验模块通过交叉注意力注入局部化信息，由于病灶尺寸小且因恶性病变非规则结构导致外观多变，这种方法效率不高。为此，我们提出了LQ-Adapter，即一种改进的ViT适配器设计，通过利用可学习的内容查询来增强基本空间先验模块的局部化信息。我们的方法在基于US声像的GBC检测数据集上，相较于ViT-Adapter、DINO和FocalNet-DINO，分别提升了5.4%、5.8%和2.7%的平均IoU（mIoU）分数，建立了新的状态最佳（SOTA）成绩。此外，我们还在Kvasir-Seg数据集上验证了LQ-Adapter用于结肠镜声像中息肉检测的适用性和有效性。该设计在该问题上的优异性能也表明其能够跨越不同数据集处理多样化的医学影像任务。代码已发布于https://github.com/ChetanMadan/LQ-Adapter
引用
@article{arxiv.2412.00374,
title = {LQ-Adapter: ViT-Adapter with Learnable Queries for Gallbladder Cancer Detection from Ultrasound Image},
author = {Chetan Madan and Mayuna Gupta and Soumen Basu and Pankaj Gupta and Chetan Arora},
journal= {arXiv preprint arXiv:2412.00374},
year = {2024}
}
备注
Accepted at WACV 2025