胸部 X 光 VLLM 中基于思维图遍历的测试时扩展
计算机视觉与模式识别
2026-05-04 v3
摘要
测试时扩展为在不增加训练的情况下提升视觉语言大模型（VLLM）的推理性能提供了有前景的途径。在本文中，我们探索了一种将测试时扩展应用于胸部 X 光报告生成的简单而有效的方法。具体而言，我们引入了一个轻量级思维图遍历（TGT）框架，引导模型以医学上连贯的顺序推理器官特异性发现。该框架将结构化医学先验整合到提示中，使模型无需底层模型更改即可进行更深层次、更逻辑化的分析。为进一步增强推理深度，我们应用了推理预算强制策略，通过动态扩展生成过程来调整模型的推理深度。这种简单而强大的组合使冻结的放射学 VLLM 能够自我纠正并生成更准确、更一致的胸部 X 光报告。我们的方法在标准基准上优于基线提示方法，还通过可追溯的推理路径揭示了数据集偏差。代码和提示已开源以供复现，地址为 https://github.com/glerium/Thought-Graph-Traversal。
引用
@article{arxiv.2506.11989,
title = {Thought Graph Traversal for Test-time Scaling in Chest X-ray VLLMs},
author = {Yue Yao and Zelin Wen and Yan Tong and Xinyu Tian and Xuqing Li and Xiao Ma and Dongliang Xu and Tom Gedeon},
journal= {arXiv preprint arXiv:2506.11989},
year = {2026}
}