医学报告生成的主题可分离句子检索
计算机视觉与模式识别
2024-05-08 v1
摘要
自动化放射报告具有巨大的临床潜力，可减轻放射科医生的工作负担并缓解诊断偏见。最近，基于检索的报告生成方法因其在报告质量和一致性方面的优势而受到关注。然而，由于训练数据的长尾分布，这些模型倾向于学习频繁出现的句子和主题，忽略罕见主题。令人遗憾的是，许多罕见主题的描述往往指示应在报告中提及的关键发现。为此，我们引入一种用于医学报告生成的主题可分离句子检索方法（Teaser）。为确保常见与罕见主题的全面学习，我们将查询分为常见类型和罕见类型，以学习不同的主题，然后提出主题对比损失以有效在潜在空间中对齐主题与查询。此外，我们在视觉特征提取后集成一个摘要模块，有助于主题解码器更深入地理解视觉观察意图。在MIMIC-CXR和IU X-ray数据集上的实验表明，Teaser超越了当前的SOTA模型，同时也验证了其有效表示罕见主题并建立更可靠的查询与主题之间的对应关系的能力。
引用
@article{arxiv.2405.04175,
title = {Topicwise Separable Sentence Retrieval for Medical Report Generation},
author = {Junting Zhao and Yang Zhou and Zhihao Chen and Huazhu Fu and Liang Wan},
journal= {arXiv preprint arXiv:2405.04175},
year = {2024}
}