FITA：用于放射学报告生成的细粒度图文对齐器
计算机视觉与模式识别
2024-05-03 v1
摘要
放射学报告生成旨在自动生成与放射学图像相伴的详细且连贯的描述性报告。先前的工作主要集中在细化细粒度图像特征或利用外部知识。然而，细粒度图像特征与对应文本描述之间的精确对齐尚未被考虑。本文提出了一种名为细粒度图文对齐器（Fine-grained Image-Text Aligner, FITA）的新方法，以构建图像和文本特征的细粒度对齐。它包含三个新颖设计：图像特征细化器（Image Feature Refiner, IFR）、文本特征细化器（Text Feature Refiner, TFR）和对比对齐器（Contrastive Aligner, CA）。IFR 和 TFR 分别旨在学习细粒度的图像和文本特征。我们通过利用显著性图将症状与相应的异常视觉区域有效融合，并利用精心构建的三元组集进行训练来实现这一点。最后，CA 模块使用对比损失对齐细粒度图像和文本特征，以实现精确对齐。结果表明，我们的方法在广泛使用的基准上超越了现有方法
引用
@article{arxiv.2405.00962,
title = {FITA: Fine-grained Image-Text Aligner for Radiology Report Generation},
author = {Honglong Yang and Hui Tang and Xiaomeng Li},
journal= {arXiv preprint arXiv:2405.00962},
year = {2024}
}
备注
11 pages, 3 figures