基于 X-Linear 注意力与重复惩罚的强化医疗报告生成
计算与语言
2020-11-17 v1 人工智能
机器学习
摘要
为减轻医生工作负担，基于深度学习的自动医疗报告生成近来吸引了越来越多的研究投入，其中注意力机制与强化学习被集成到经典的编码器-解码器架构中以增强深度模型的性能。然而，这些最先进的方案主要存在两个缺陷：(i) 它们的注意力机制无法利用高阶特征交互；(ii) 由于使用基于 TF-IDF 的奖励函数，这些方法在生成重复术语时表现脆弱。因此，在本工作中，我们提出一种带有 x-linear 注意力和重复惩罚机制（ReMRG-XR）的强化医疗报告生成方案来克服这些问题。具体而言，x-linear 注意力模块用于探索高阶特征交互并实现多模态推理，而重复惩罚用于在模型训练过程中对重复术语施加惩罚。在两个公开数据集上进行了广泛的实验研究，结果表明 ReMRG-XR 在所有指标上都大幅优于最先进的基线。
引用
@article{arxiv.2011.07680,
title = {Reinforced Medical Report Generation with X-Linear Attention and Repetition Penalty},
author = {Wenting Xu and Chang Qi and Zhenghua Xu and Thomas Lukasiewicz},
journal= {arXiv preprint arXiv:2011.07680},
year = {2020}
}