统一、对齐与精炼：面向放射学报告生成的多级语义对齐
计算机视觉与模式识别
2023-07-19 v5
摘要
自动放射学报告生成因其在减轻放射科医生工作负担方面的实用价值而吸引了大量研究兴趣。然而，同时建立图像（如胸部 X 光）与其相关报告之间的全局对应以及图像块与关键词之间的局部对齐仍然具有挑战性。为此，我们提出一种统一、对齐再精炼（UAR）方法来学习多级跨模态对齐，并引入三个新颖模块：隐空间统一器（LSU）、跨模态表示对齐器（CRA）与文本到图像精炼器（TIR）。具体而言，LSU 将多模态数据统一为离散 token，从而可灵活地用共享网络学习模态间的共性知识。模态无关的 CRA 首先通过一组正交基与双门机制学习判别性特征，然后在三元组对比损失下全局对齐视觉与文本表示。TIR 通过可学习掩码校准文本到图像的注意力来提升 token 级局部对齐。此外，我们设计了两阶段训练流程使 UAR 逐步掌握不同级别的跨模态对齐，这模仿了放射科医生的工作流：先逐句书写再逐词核查。在 IU-Xray 与 MIMIC-CXR 基准数据集上的大量实验与分析证明了我们的 UAR 相对于各类最先进方法的优越性。
引用
@article{arxiv.2303.15932,
title = {Unify, Align and Refine: Multi-Level Semantic Alignment for Radiology Report Generation},
author = {Yaowei Li and Bang Yang and Xuxin Cheng and Zhihong Zhu and Hongxiang Li and Yuexian Zou},
journal= {arXiv preprint arXiv:2303.15932},
year = {2023}
}
备注
1)Reassessment of author contributions. 2)Try to solve the problem that Google Scholar does not display the all authors