学习视觉-语义嵌入以报告胸片中的异常发现
计算机视觉与模式识别
2020-10-07 v1 计算与语言
摘要
自动医学图像报告生成因其缓解放射科医生工作量的潜力而受到越来越多的关注。现有的报告生成工作通常训练编码器-解码器网络以生成完整报告。然而，此类模型受数据偏差（如标签不平衡）影响，并面临文本生成模型固有的常见问题（如重复）。在本工作中，我们聚焦于报告放射图像上的异常发现；我们提出一种方法，除利用无监督聚类和最少规则对异常发现进行分组外，还从报告中识别异常发现。我们将该任务表述为跨模态检索，并提出条件视觉-语义嵌入（Conditional Visual-Semantic Embeddings）以在联合嵌入空间中对齐图像与细粒度异常发现。我们证明，我们的方法能够检索异常发现，并在临床正确性与文本生成指标上均优于现有的生成模型。
引用
@article{arxiv.2010.02467,
title = {Learning Visual-Semantic Embeddings for Reporting Abnormal Findings on Chest X-rays},
author = {Jianmo Ni and Chun-Nan Hsu and Amilcare Gentili and Julian McAuley},
journal= {arXiv preprint arXiv:2010.02467},
year = {2020}
}
备注
7 pages, 2 figures, to be published in Findings of EMNLP 2020