ConSlide：面向持续全切片图像分析的自异步分层交互Transformer与拆分重组回放方法
计算机视觉与模式识别
2023-08-28 v1
摘要
全切片图像（WSI）分析在医学影像领域日益重要，可实现自动化、客观的诊断、预后及疗效预测。然而在临床实践中，不断演进的环境限制了WSI分析模型的效用。本文提出首个面向WSI分析的持续学习框架ConSlide，通过在多个连续数据集上进行渐进式模型更新，应对图像尺寸巨大、分层结构利用以及灾难性遗忘等挑战。我们的框架包含三个关键组件。提出分层交互Transformer（HIT）以建模并利用WSI的分层结构知识。开发拆分重组（BuRo）回放方法，通过高效区域存储缓冲与WSI重组操作实现WSI数据重放。设计异步更新机制，基于嵌套跨尺度相似度学习（CSSL）模块，在回放阶段引导网络分别学习通用与特定知识。我们在来自TCGA项目的四个公开WSI数据集上评估了所提ConSlide。在公平的基于WSI的持续学习设定下，其性能优于其他最先进方法，并在整体性能与对先前任务的遗忘之间取得更好权衡。
引用
@article{arxiv.2308.13324,
title = {ConSlide: Asynchronous Hierarchical Interaction Transformer with Breakup-Reorganize Rehearsal for Continual Whole Slide Image Analysis},
author = {Yanyan Huang and Weiqin Zhao and Shujun Wang and Yu Fu and Yuming Jiang and Lequan Yu},
journal= {arXiv preprint arXiv:2308.13324},
year = {2023}
}
备注
To be appeared in ICCV 2023