场景图辅助的放射学报告生成

放射学报告生成（RRG）方法通常缺乏足够的医学知识来生成临床准确的报告。场景图包含描述图像中对象的丰富信息。我们探索通过场景图为RRG丰富医学知识，这在目前的RRG文献中尚未被研究。为此，我们提出了场景图辅助的RRG（SGRRG）网络，该框架生成区域级视觉特征，预测解剖属性，并利用自动生成的场景图，从而以端到端方式实现医学知识蒸馏。SGRRG由负责翻译场景图的专用场景图编码器和利用块级与区域级视觉信息的场景图辅助解码器组成。设计了一种细粒度的句子级注意力方法，以更好地蒸馏场景图信息。大量实验表明，SGRRG在报告生成方面优于先前SOTA方法，并能更好地捕捉异常发现。