Surg$\Sigma$：面向外科智能的大规模多模态数据与基础模型谱系
人工智能
2026-03-18 v1
摘要
外科智能有望提升外科护理的安全性和一致性，但大多数现有外科 AI 框架仍为特定任务设计，难以跨程序和跨机构泛化。虽然多模态基础模型，特别是多模态大语言模型，在 various 医疗领域展现出强大的跨任务能力，但在外科领域的发展仍受制于缺乏大规模、系统策划的多模态数据。为此，我们提出 Surg，一个面向外科智能的大规模多模态数据与基础模型谱系。该框架的核心是 Surg-DB，一个大规模多模态数据基础，旨在支持多样化的外科任务。Surg-DB 将异构外科数据来源（包括开源数据集、内部临床收集的数据以及网络来源数据）整合到统一的模式中，旨在提高标签一致性和数据标准化。Surg-DB 涵盖 6 个临床专科和多种外科类型，提供超过 5.98 百万对话的丰富图像和视频级注释，覆盖 18 项实用外科任务，涵盖理解、推理、规划和生成。除常规多模态对话外，Surg-DB 还包含层次化推理注释，为复杂外科情境提供更丰富的语义线索，支持更深入的上下文理解。我们进一步通过基于 Surg-DB 开发的最新外科基础模型提供了实证证据，说明大规模多模态注释、统一语义设计以及结构化推理注释对于提高跨任务泛化能力和可解释性具有实际效益。
引用
@article{arxiv.2603.16822,
title = {Surg$\Sigma$: A Spectrum of Large-Scale Multimodal Data and Foundation Models for Surgical Intelligence},
author = {Zhitao Zeng and Mengya Xu and Jian Jiang and Pengfei Guo and Yunqiu Xu and Zhu Zhuo and Chang Han Low and Yufan He and Dong Yang and Chenxi Lin and Yiming Gu and Jiaxin Guo and Yutong Ban and Daguang Xu and Qi Dou and Yueming Jin},
journal= {arXiv preprint arXiv:2603.16822},
year = {2026}
}