面向自主C型臂控制的骨骼标志点自主定位
计算机视觉与模式识别
2026-04-22 v1
摘要
目的：自动化C型臂定位可确保需要紧急干预的患者得到及时治疗。当用于C型臂控制的传统深度学习(DL)方法失败时，临床医生必须恢复手动操作，从而导致额外的延误。因此，基于多模态大语言模型(MLLM)的智能体C型臂控制框架非常理想，因为它可以整合临床医生的反馈，并利用推理进行调整以实现更精确的定位。骨骼标志点定位对于C型臂控制至关重要，我们研究了将MLLM适配用于自主标志点定位。方法：我们使用了一个带注释的合成X射线数据集和一个真实X射线数据集。两个数据集中的每张X射线图像都配对了多个骨骼标志点。我们微调了两个MLLM，并让它们从每张X射线图像中检索最近的标志点。对标志点定位进行了定量评估，并与领先的DL方法进行了比较。我们进一步进行了定性实验，展示了：(1) MLLM如何通过推理纠正最初错误的预测；(2) MLLM如何顺序地将C型臂导航到目标位置。结果：在两个数据集上，与DL方法相比，微调后的MLLM在所有定位任务中都表现出有竞争力的性能。在定性实验中，MLLM提供了推理和空间意识的证据。结论：本研究表明，微调后的MLLM能够实现准确的骨骼标志点定位，并为自主智能体C型臂控制带来了希望。我们的代码可在https://github.com/marszzibros/C-arm-localization-LLMs.git获取。
引用
@article{arxiv.2604.18740,
title = {Autonomous Skeletal Landmark Localization towards Agentic C-Arm Control},
author = {Jay Jung and Ahmad Arrabi and Jax Luo and Scott Raymond and Safwan Wshah},
journal= {arXiv preprint arXiv:2604.18740},
year = {2026}
}
备注
Accepted at IJCARS: IPCAI 2026. Int J CARS (2026)