从权空间转向记忆空间：面向医学图像分割的记忆增强代理
计算机视觉与模式识别
2026-03-09 v1
摘要
医学图像分割是临床工作流程的基本任务，但在单一数据集上训练的模型往往难以在不同机构、扫描仪或患者人群之间获得良好泛化。虽然视觉基础模型在解决这一挑战方面显示出巨大潜力，但其部署通常需要特定于任务的微调，这在联邦学习中引入了 substantial 的通信开销，并阻止了部署期间的持续知识演化。在本工作中，我们提出了一种记忆增强分割代理 (MemSeg-Agent)，通过将适应从权空间转向记忆空间，在统一的体系结构中实现 few-shot 学习、联邦监督学习和测试时适应。MemSeg-Agent 通过一个 agentic controller 动态组合固定主干网络的轻量级静态记忆、few-shot 记忆和 test-time 工作记忆。在联邦设置下，我们更新紧凑的记忆单元而非模型参数，显著降低了通信开销。实验在四个公开数据集上表明，性能强健且对 domain shift 具有鲁棒性：仅凭静态记忆即可匹配或超越强大的监督基线，实现高参数效率；test-time 工作记忆进一步在无需微调的情况下提升了原位和跨域性能。总体而言，MemSeg-Agent 引入了面向 agentic AI 时代的可扩展且自适应的医学图像分割新范式。
引用
@article{arxiv.2603.05873,
title = {Shifting Adaptation from Weight Space to Memory Space: A Memory-Augmented Agent for Medical Image Segmentation},
author = {Bowen Chen and Qiaohui Gao and Shaowen Wan and Shanhui Sun and Wei Liu and Xiang Li and Tianming Liu and Lin Zhao},
journal= {arXiv preprint arXiv:2603.05873},
year = {2026}
}