基于大型语言模型的外科行动规划
计算与语言
2025-04-01 v2
摘要
在机器人辅助的 minimally invasive 手术中，我们提出了外科行动规划（Surgical Action Planning, SAP）任务，该任务从视觉输入生成未来行动计划，以弥补当前智能应用中缺乏内operative 预测规划的不足。SAP 显示出巨大的潜力，用于增强内operative 指导和自动化程序。然而，它面临着理解仪器-动作关系和跟踪手术进展等挑战。大型语言模型（LLM）在理解手术视频内容方面显示出前景，但在 SAP 中进行预测决策方面仍未得到充分探索，因为它们主要关注回顾性分析。数据隐私、计算需求和模态特定约束等挑战进一步凸显了显著的研究空白。为解决这些挑战，我们提出了 LLM-SAP 框架，即基于大型语言模型的外科行动规划框架，通过解释手术目标的自然语言提示来预测未来动作并生成文本响应。这些文本响应可能支持手术教育、内operative 决策、程序文档和技能分析。LLM-SAP 集成了两个新模块：近历史关注记忆模块（Near-History Focus Memory Module, NHF-MM）用于建模历史状态，以及行动规划的提示工厂。我们在构建的 CholecT50-SAP 数据集上评估了 LLM-SAP，使用模型如 Qwen2.5 和 Qwen2-VL，证明了其在下一动作预测方面的有效性。对预训练 LLM 进行零样本测试，并实现了使用 LoRA 的监督微调（SFT）。我们的实验表明，Qwen2.5-72B-SFT 比 Qwen2.5-72B 准确率高出 19.3%。
引用
@article{arxiv.2503.18296,
title = {Surgical Action Planning with Large Language Models},
author = {Mengya Xu and Zhongzhen Huang and Jie Zhang and Xiaofan Zhang and Qi Dou},
journal= {arXiv preprint arXiv:2503.18296},
year = {2025}
}
备注
10 pages,4 figures