基于区域-短语上下文对比对齐的医学短语定位
计算机视觉与模式识别
2023-03-15 v1
摘要
医学短语定位（MPG）旨在给定描述某医学发现的短语查询时，定位医学图像中最相关区域，这是医学图像分析与放射诊断的一项重要任务。然而，现有视觉定位方法依赖通用视觉特征识别自然图像中的物体，难以捕捉医学发现细微且专业的特征，导致MPG性能欠佳。本文中，我们提出MedRPG，一种端到端的MPG方法。MedRPG构建于轻量级视觉-语言transformer编码器上，直接预测所述医学发现的边界框坐标，可用有限医学数据训练，是医学图像分析的有价值工具。为使MedRPG以更好的区域-短语对应定位细微医学发现，我们进一步提出三注意力上下文对比对齐（TaCo）。TaCo寻求上下文对齐，将相关区域-短语对的特征与注意力输出拉近，同时将不相关区域者推远。这确保最终边界框预测更依赖于其发现特定区域与短语。在三个MPG数据集上的实验结果表明，我们的MedRPG大幅优于最先进视觉定位方法。此外，所提TaCo策略在增强发现定位能力与减少虚假区域-短语关联方面有效。
引用
@article{arxiv.2303.07618,
title = {Medical Phrase Grounding with Region-Phrase Context Contrastive Alignment},
author = {Zhihao Chen and Yang Zhou and Anh Tran and Junting Zhao and Liang Wan and Gideon Ooi and Lionel Cheng and Choon Hua Thng and Xinxing Xu and Yong Liu and Huazhu Fu},
journal= {arXiv preprint arXiv:2303.07618},
year = {2023}
}