用于无监督医疗报告生成的知识图谱自编码器
机器学习
2021-11-16 v2 人工智能
计算与语言
计算机视觉与模式识别
摘要
医疗报告生成旨在为给定医学图像自动生成长篇且连贯的报告，近年来受到越来越多的研究关注。现有方法主要采用有监督方式，并严重依赖图像-报告配对数据。然而，在医疗领域，构建大规模图像-报告配对数据集既耗时又昂贵。为放宽对配对数据的依赖，我们提出了一种无监督模型知识图谱自编码器（KGAE），其在训练时接受独立的图像集和报告集。KGAE 由预构建知识图谱、知识驱动编码器和知识驱动解码器组成。知识图谱作为共享潜在空间以桥接视觉与文本领域；知识驱动编码器将医学图像和报告投影到该潜在空间中的对应坐标，知识驱动解码器根据该空间中的坐标生成医疗报告。由于知识驱动编码器和解码器可使用独立的图像集和报告集训练，KGAE 是无监督的。实验表明，无监督 KGAE 在不使用任何图像-报告训练对的情况下生成了理想的医疗报告。此外，KGAE 也可在半监督和有监督设定下工作，并在训练时接受配对图像和报告。通过进一步用图像-报告对微调，KGAE 在两个数据集上持续优于当前最优模型。
引用
@article{arxiv.2111.04318,
title = {Auto-Encoding Knowledge Graph for Unsupervised Medical Report Generation},
author = {Fenglin Liu and Chenyu You and Xian Wu and Shen Ge and Sheng Wang and Xu Sun},
journal= {arXiv preprint arXiv:2111.04318},
year = {2021}
}