特征重嵌入：迈向计算病理学的基础模型级性能
计算机视觉与模式识别
2024-07-26 v4
摘要
多实例学习（MIL）是计算病理学中最广泛使用的框架，涵盖亚型分类、诊断、预后等。然而，现有的MIL范式通常需要离线实例特征提取器，如预训练的ResNet或基础模型。这种方法缺乏在特定下游任务中进行特征微调的能力，限制了其适应性和性能。为了解决这个问题，我们提出了一种重嵌入区域Transformer（RT），用于在线重嵌入实例特征，捕获细粒度局部特征并建立不同区域之间的连接。与现有专注于预训练强大特征提取器或设计复杂实例聚合器的工作不同，RT专门用于在线重嵌入实例特征。它作为一个便携式模块，可以无缝集成到主流MIL模型中。在常见计算病理学任务上的大量实验结果表明：1）特征重嵌入将基于ResNet-50特征的MIL模型性能提升到基础模型特征的水平，并进一步增强了基础模型特征的性能；2）RT可以为各种MIL模型带来更显著的性能提升；3）RT-MIL作为RT增强的AB-MIL，以较大优势优于其他最新方法。代码可在https://github.com/DearCaat/RRT-MIL获取。
引用
@article{arxiv.2402.17228,
title = {Feature Re-Embedding: Towards Foundation Model-Level Performance in Computational Pathology},
author = {Wenhao Tang and Fengtao Zhou and Sheng Huang and Xiang Zhu and Yi Zhang and Bo Liu},
journal= {arXiv preprint arXiv:2402.17228},
year = {2024}
}
备注
Accepted by CVPR2024