用于医学图像报告生成的混合检索-生成强化智能体
计算机视觉与模式识别
2018-11-27 v2
摘要
生成冗长且连贯的报告以描述医学图像，对将视觉模式与信息性人类语言描述相桥接提出了挑战。我们提出一种新颖的混合检索-生成强化智能体（HRGR-Agent），其调和了充斥人类先验知识的传统基于检索的方法与现代基于学习的方法，以实现结构化、鲁棒且多样的报告生成。HRGR-Agent采用分层决策流程。对每句话，高层检索策略模块选择从现成模板数据库中检索模板句，或调用低层生成模块生成新句。HRGR-Agent通过强化学习更新，由句子级与词级奖励引导。实验表明，我们的方法在两个医学报告数据集上取得SOTA结果，生成平衡良好的结构化句子，并对异质医学报告内容具有鲁棒覆盖。此外，我们的模型在医学术语检测准确率上最高，且人类评估性能更优。
引用
@article{arxiv.1805.08298,
title = {Hybrid Retrieval-Generation Reinforced Agent for Medical Image Report Generation},
author = {Christy Y. Li and Xiaodan Liang and Zhiting Hu and Eric P. Xing},
journal= {arXiv preprint arXiv:1805.08298},
year = {2018}
}