从组织病理图像到细胞云：基于层次细胞变换器的滑片表示学习
计算机视觉与模式识别
2024-12-24 v1 人工智能
摘要
从组织病理全切片图像（WSI）中直接分析和建模细胞的空间分布对于临床至关重要且具有巨大的潜在益处。然而，大多数现有的 WSI 数据集缺乏细胞级别的注释，由于 Giga 像素级图像的极高成本。因此，是否可以直接且有效地从语义层面上分析 WSI 仍是一个开放问题。本文构建了一个规模庞大的 WSI 数据集，包含超过 50 亿条细胞级别注释，称为 WSI-Cell5B。该数据集基于来自癌症基因组计划（TCGA）Program 的 6998 张 11 种癌症的 WSI，所有 WSI 均按细胞进行坐标和类型注释。据我们所知，WSI-Cell5B 是首个集成细胞级别注释的 WSI 级别大规模数据集。与此同时，CCFormer 将每个 WSI 中细胞的集合形式化为细胞云，并建模细胞的空间分布。具体而言，提出了邻域信息嵌入（NIE）来刻画每个细胞所在邻域内细胞的分布；并提出了一种新的层次空间感知（HSP）模块，以自下而上方式学习细胞之间的空间关系。临床分析表明，WSI-Cell5B 可用于基于细胞计数设计临床评估指标，以有效评估患者的生存风险。在生存预测和癌症分期等大量实验中表明，仅从细胞的空间分布进行学习即可实现最先进（SOTA）性能，即 CCFormer 在其他竞争方法中显著优于表现。
关键词
引用
@article{arxiv.2412.16715,
title = {From Histopathology Images to Cell Clouds: Learning Slide Representations with Hierarchical Cell Transformer},
author = {Zijiang Yang and Zhongwei Qiu and Tiancheng Lin and Hanqing Chao and Wanxing Chang and Yelin Yang and Yunshuo Zhang and Wenpei Jiao and Yixuan Shen and Wenbin Liu and Dongmei Fu and Dakai Jin and Ke Yan and Le Lu and Hui Jiang and Yun Bian},
journal= {arXiv preprint arXiv:2412.16715},
year = {2024}
}