VoxelPrompt：面向终端医学图像分析的视觉代理
图像与视频处理
2025-10-17 v2 人工智能
计算机视觉与模式识别
摘要
我们提出了 VoxelPrompt，这是一个用于解决自由形式放射学任务的端到端图像分析代理。给定任意数量的体积医学图像和自然语言提示，VoxelPrompt 集成了一个语言模型，生成可调用的可调适视觉网络的可执行代码。该代码进一步完成针对实际定量目标（如衡量肿瘤在不同随访间的生长）的分析步骤。VoxelPrompt 生成的管道自动化了当前需要实践者仔细组合多种专业视觉和统计工具才能完成的分析工作。我们使用多样化的神经影像任务对 VoxelPrompt 进行评估，表明其能够描绘数百种解剖和病理特征，测量复杂形态属性，并对病灶特征进行开放语言分析。VoxelPrompt 在医学图像分析方面完成这些目标的准确率与专用单任务模型相当，同时支持广泛的组合生物医学工作流程。
引用
@article{arxiv.2410.08397,
title = {VoxelPrompt: A Vision Agent for End-to-End Medical Image Analysis},
author = {Andrew Hoopes and Neel Dey and Victor Ion Butoi and John V. Guttag and Adrian V. Dalca},
journal= {arXiv preprint arXiv:2410.08397},
year = {2025}
}
备注
22 pages, vision-language agent, medical image analysis, neuroimage foundation model