面向放射学报告生成的词元不平衡自适应方法
计算与语言
2023-04-20 v1 人工智能
摘要
文本文档中自然存在词元分布不平衡，导致神经语言模型在高频词元上过拟合。词元不平衡可能削弱放射学报告生成器的鲁棒性，因为复杂的医学术语出现频率较低但反映更多医疗信息。在本研究中，我们展示了当前 SOTA 模型在两个标准基准数据集（IU X-RAY 和 MIMIC-CXR）的放射学报告生成任务上无法生成低频词元。为解决该挑战，我们提出 \textbf{T}oken \textbf{Im}balance Adapt\textbf{er}（\textit{TIMER}），旨在提升对低频词元的生成鲁棒性。该模型通过非似然损失自动利用词元不平衡，并动态优化生成过程以增强低频词元。我们在两个基准上将我们的方法与多种 SOTA 方法比较。实验证明了我们的方法在整体及低频词元上增强模型鲁棒性的有效性。我们的消融分析表明，强化学习方法在适应放射学报告生成的词元不平衡方面起主要作用。
引用
@article{arxiv.2304.09185,
title = {Token Imbalance Adaptation for Radiology Report Generation},
author = {Yuexin Wu and I-Chan Huang and Xiaolei Huang},
journal= {arXiv preprint arXiv:2304.09185},
year = {2023}
}
备注
Accepted by CHIL2023