ChEX：胸片 X 光的交互式局部化和区域描述
计算机视觉与模式识别
2024-07-16 v2 计算与语言
机器学习
摘要
报告生成模型为医学图像如胸片 X 光提供细粒度的文本解释，但往往缺乏交互性（即通过用户查询引导生成过程的能力）和局部可解释性（即将预测 visually grounding 的能力），我们认为这两种能力是未来在临床实践中必不可少的。虽然已有努力尝试解决这些问题，但要么受限于交互性，无法支持文本查询，要么未能同时提供局部可解释性。因此，我们提出一种新型多任务架构和训练范式，将文本提示和边界框整合用于各种方面，如解剖区域和病灶。我们将这种方法称为胸片 X 光解释器（ChEX）。在包含局部图像解释和报告生成等 9 项胸片 X 光任务的异构测试集上的评估显示，ChEX 在与 SOTA 模型相当的竞争力，同时额外分析表明 ChEX 的交互能力突出。代码：https://github.com/philip-mueller/chex
引用
@article{arxiv.2404.15770,
title = {ChEX: Interactive Localization and Region Description in Chest X-rays},
author = {Philip Müller and Georgios Kaissis and Daniel Rueckert},
journal= {arXiv preprint arXiv:2404.15770},
year = {2024}
}
备注
Accepted at ECCV 2024