事实序列化增强：胸部X光报告生成的关键创新
图像与视频处理
2026-05-28 v2 人工智能
计算机视觉与模式识别
摘要
放射报告包含呈现导向的词汇，这确保了清晰和组织性，同时包含事实导向的词汇，这提供基于可观察发现的准确客观描述。虽然手动书写这些报告耗时且需要大量劳动力，但自动报告生成提供了可行的替代方案。其关键步骤之一是将放射图与其对应的报告对齐。然而，现有方法通常依赖完整报告进行对齐，忽视了呈现导向词汇的影响。为此，我们提出了FSE（Factual Serialization Enhancement）方法，包含两个阶段。在阶段1中，我们引入基于事实导向的对抗学习，用于视觉表征，通过最大化放射图与其对应事实描述之间的语义对应性。在阶段2中，我们提出证据驱动的报告生成，通过整合来自类似历史病例结构化的事实序列化信息来提升诊断准确性。在MIMIC-CXR和IU X-ray数据集上的实验表明，FSE在自然语言生成和临床效能指标上均优于最先进的方法。消融研究进一步强调了阶段1和阶段2中事实序列化的积极作用。代码已公开于https://github.com/mk-runner/FSE。
引用
@article{arxiv.2405.09586,
title = {Factual Serialization Enhancement: A Key Innovation for Chest X-ray Report Generation},
author = {Kang Liu and Zhuoqi Ma and Mengmeng Liu and Zhicheng Jiao and Xiaolu Kang and Qiguang Miao and Kun Xie},
journal= {arXiv preprint arXiv:2405.09586},
year = {2026}
}
备注
code is available at https://github.com/mk-runner/FSE