PathVQ：通过向量量化重构计算病理学基础模型以用于全切片图像分析
计算机视觉与模式识别
2025-03-11 v1
摘要
计算病理学和全切片图像（WSI）分析在癌症诊断和预后中至关重要。然而，WSI 的超高分辨率给建模带来了巨大挑战。病理学基础模型的最新进展提升了性能，但大多数方法依赖分块 ViT 的 [CLS] token 表示作为切片级输入（16x16 像素称为 patch，224x224 像素称为 tile）。这丢弃了来自 patch token 的关键空间细节，限制了下游 WSI 分析任务。我们发现利用所有空间 patch token 有利于 WSI 分析，但会导致近 200 倍的存储和训练成本（例如，ViT 中有 196 个 token）。为了解决这个问题，我们在 patch 特征上引入了向量量化（VQ）蒸馏，利用离散索引和解码器高效压缩空间 patch token。我们的方法将 token 维度从 1024 降至 16，实现了 64 倍的压缩率，同时保持了重建保真度。此外，我们采用了多尺度 VQ（MSVQ）策略，这不仅增强了 VQ 重建性能，还作为自监督学习（SSL）的监督信号，用于无缝的切片级预训练目标。基于量化的 patch 特征和通过 MSVQ 获得的 tile 监督目标，我们开发了渐进式卷积模块和切片级 SSL，以提取具有丰富空间信息的表征用于下游 WSI 任务。在多个数据集上的广泛评估证明了我们方法的有效性，在 WSI 分析中取得了 SOTA 性能。代码即将发布。
引用
@article{arxiv.2503.06482,
title = {PathVQ: Reforming Computational Pathology Foundation Model for Whole Slide Image Analysis via Vector Quantization},
author = {Honglin Li and Zhongyi Shui and Yunlong Zhang and Chenglu Zhu and Lin Yang},
journal= {arXiv preprint arXiv:2503.06482},
year = {2025}
}