一种用于视觉问答验证的强化学习方法：以糖尿病性黄斑水肿分级为例
计算机视觉与模式识别
2023-07-20 v1 人工智能
摘要
机器学习模型的最新进展极大提升了医学图像分析中自动化方法的性能。然而，此类模型的内部运作在很大程度上是隐藏的，这阻碍了它们在临床实践中的整合。可解释性与信任被视为现代方法的重要方面，关乎后者在临床界的广泛应用。因此，机器学习模型的验证是一个重要方面，但大多数方法仅以有限的方式进行验证。在本工作中，我们专注于为高性能视觉问答（VQA）算法提供一种更丰富且更恰当的验证方法。为了更好地理解这些回答与图像相关的任意问题的方法的性能，本工作聚焦于一种自动视觉图灵测试（VTT）。即，我们提出一种自动自适应提问方法，旨在揭示 VQA 算法的推理行为。具体而言，我们引入一个强化学习（RL）智能体，其观察先前已提问的历史，并利用该历史选择下一个要提出的问题。我们在评估自动回答糖尿病性黄斑水肿（DME）分级相关问题的算法的背景下展示了我们的方法。实验表明，此类智能体具有与临床医生相似的行为，即提出与关键临床概念相关的问题。
引用
@article{arxiv.2307.09886,
title = {A reinforcement learning approach for VQA validation: an application to diabetic macular edema grading},
author = {Tatiana Fountoukidou and Raphael Sznitman},
journal= {arXiv preprint arXiv:2307.09886},
year = {2023}
}
备注
16 pages (+ 23 pages supplementary material)