用于息肉重识别的判别性视觉-文本表示学习
计算机视觉与模式识别
2023-07-21 v1
摘要
结肠镜息肉重识别（Colonoscopic Polyp Re-Identification）旨在大规模图库中跨不同相机与视角匹配特定息肉，在计算机辅助诊断中对结直肠癌的防治起着关键作用。然而，传统方法主要关注视觉表示学习，忽视训练过程中语义特征的潜力，导致将预训练模型迁移到新场景时泛化能力较差。为缓解此困境，我们提出一种简单而有效的训练方法 VT-ReID，可通过高层语义信息的互换显著丰富息肉视频的表示。此外，我们精心设计了一种新颖的聚类机制，从文本数据引入先验知识，利用对比学习促进从大量无标签文本数据中更好分离。据我们所知，这是首次尝试将视觉-文本特征与聚类机制结合用于结肠镜息肉重识别。实验结果表明，我们的方法以明显优势显著优于当前 SOTA 方法。
引用
@article{arxiv.2307.10625,
title = {Learning Discriminative Visual-Text Representation for Polyp Re-Identification},
author = {Suncheng Xiang and Cang Liu and Sijia Du and Dahong Qian},
journal= {arXiv preprint arXiv:2307.10625},
year = {2023}
}