信或不信：置信度引导的自动放射学报告生成

医学影像在临床实践的诊断与治疗中起着关键作用。受自动图像描述显著进展的启发，人们提出了各种基于深度学习（DL）的方法来为医学影像生成放射学报告。尽管结果令人鼓舞，先前的工作忽视了其模型的不确定性，因此无法向临床医生提供所生成放射学报告的可靠性/置信度以辅助其决策。在本文中，我们提出一种新颖的方法，显式地量化基于DL的放射学报告生成的视觉不确定性与文本不确定性。此类多模态不确定性能够在报告层面和句子层面充分捕捉模型置信度程度，因而被进一步用于加权损失以实现更全面的模型优化。实验结果表明，所提出的模型不确定性表征与估计方法能够为放射学报告生成产生更可靠的置信度分数，并且考虑到不确定性的改进损失函数在两个公开放射学报告数据集上带来了更好的模型性能。此外，自动生成报告的质量由人类评分者手动评估，结果也表明所提出的不确定性能够反映临床诊断的差异性。