MergeSlide:面向 Whole Slide Images 上终身学习的模型合并与任务到类提示对齐推理
计算机视觉与模式识别
2025-11-18 v1
摘要
在 Whole Slide Images(WSIs)上进行终身学习旨在依次训练或微调统一模型,减少数据迁移和处理所需的资源和工作量,尤其考虑到 WSIs 的吉字节级大小。本文介绍 MergeSlide,一个简单而有效的框架,将终身学习视为模型合并问题,利用面向病理学的视觉-语言基础模型。当新任务到达时:1) 使用类感知提示定义它,2) 使用无 MLP 的主干网络进行少量 epoch 的微调,3) 使用正交式持续合并策略将其合并到统一模型中,以保留性能并缓解灾难性遗忘。对于在类递增学习(CLASS-IL)设置下的推理,即任务身份未知,我们引入任务到类提示对齐(TCP)推理。具体而言,TCP 首先识别最相关的任务,然后应用相应的类感知提示生成预测。为评估 MergeSlide,我们在六个 TCGA 数据集上进行实验。结果表明,MergeSlide 在时代学习和视觉-语言零样点基线中均表现出色。代码和数据可在 https://github.com/caodoanh2001/MergeSlide 获取。
引用
@article{arxiv.2511.13099,
title = {MergeSlide: Continual Model Merging and Task-to-Class Prompt-Aligned Inference for Lifelong Learning on Whole Slide Images},
author = {Doanh C. Bui and Ba Hung Ngo and Hoai Luan Pham and Khang Nguyen and Maï K. Nguyen and Yasuhiko Nakashima},
journal= {arXiv preprint arXiv:2511.13099},
year = {2025}
}
备注
WACV2026 Accepted