HoloHisto：用于 4K 分辨率顺序标记的全峰图 (WSI) 分割
图像与视频处理
2024-07-04 v1 计算机视觉与模式识别
摘要
在数字病理学中，基于深度学习的图像分割传统方法通常涉及两个阶段：首先将高分辨率整块切片图像 (WSI) 分割成较小的补丁 (例如 256x256、512x512、1024x1024)，然后重建到原始尺度。这种方法常常难以捕捉 WSIs 的复杂细节和广阔范围。本文提出了整体病理学 (HoloHisto) 分割方法，以实现对高达 80,000×70,000 像素的全峰图 (WSI) 的端到端分割。HoloHisto 根本性地将 WSIs 分割范式从分阶段学习转变为端到端学习方式，具体包括：1）采用大尺寸 (4K) 分辨率基准补丁以提升视觉信息包含量和处理效率，以及2）引入新颖的顺序标记机制，以正确建模上下文关系，高效地处理来自 4K 输入的丰富信息。据我们所知，HoloHisto 是首个实现全峰图 (WSI) 端到端分割的完整方法，支持直接输入输出完整 WSIs 及其对应的高分辨率掩码。在 HoloHisto 平台下，我们引入了一种随机 4K 采样器，超越了超高分辨率，相较于标准 2D 和 3D 补丁分别提供 31 倍和 10 倍的像素，以推进计算能力。为实现 4K 分辨率稠密预测，我们利用顺序标记机制，通过预训练的图像标记器将图像特征分组为离散标记网格。为评估性能，我们团队构建了一个新的肾脏病理学图像分割 (KPIs) 数据集，包含来自整个小鼠肾脏的 WSIs 级糞球滤过单元分割。结果表明，HoloHisto-4K 在先前状态的最佳模型之上实现了显著的性能提升。
引用
@article{arxiv.2407.03307,
title = {HoloHisto: End-to-end Gigapixel WSI Segmentation with 4K Resolution Sequential Tokenization},
author = {Yucheng Tang and Yufan He and Vishwesh Nath and Pengfeig Guo and Ruining Deng and Tianyuan Yao and Quan Liu and Can Cui and Mengmeng Yin and Ziyue Xu and Holger Roth and Daguang Xu and Haichun Yang and Yuankai Huo},
journal= {arXiv preprint arXiv:2407.03307},
year = {2024}
}