BESTMVQA：一个医学视觉问答基准评测系统
人工智能
2023-12-14 v1 计算与语言
摘要
医学视觉问答（Med-VQA）是医疗保健行业中一项非常重要的任务，它用医学图像回答自然语言问题。信息系统中的现有VQA技术可直接应用于解决该任务。然而，它们常常面临（i）数据不足问题，这使得难以针对特定领域任务训练最先进模型（SOTA），以及（ii）可复现性问题，即许多现有模型未在统一的实验设置下得到彻底评估。为解决这些问题，本文开发了一个医学视觉问答基准评测系统，记作BESTMVQA。基于自行收集的临床数据，我们的系统为用户提供了一个自动构建Med-VQA数据集的有用工具，有助于克服数据不足问题。用户还可以方便地从我们的模型库中选择广泛的SOTA模型，以进行全面的实证研究。通过简单配置，我们的系统自动在基准数据集上训练和评估所选模型，并报告综合结果，供用户开发新技术或进行医学实践。现有工作的局限性通过（i）数据生成工具（自动从非结构化临床数据构建新数据集）和（ii）在统一实验设置下评估基准数据集上的SOTA模型得以克服。我们系统的演示视频可在https://youtu.be/QkEeFlu1x4A找到。我们的代码和数据将很快公开。
引用
@article{arxiv.2312.07867,
title = {BESTMVQA: A Benchmark Evaluation System for Medical Visual Question Answering},
author = {Xiaojie Hong and Zixin Song and Liangzhi Li and Xiaoli Wang and Feiyan Liu},
journal= {arXiv preprint arXiv:2312.07867},
year = {2023}
}