当一张图像价值 1024 x 1024 个词时：计算病理学案例研究
计算机视觉与模式识别
2023-12-07 v1
摘要
本技术报告提出了 LongViT，一种能够以端到端方式处理千兆像素图像的视觉 Transformer。具体而言，我们将千兆像素图像分割成数百万个图像块序列，并将它们线性投影为嵌入。随后采用 LongNet 对这一极长序列进行建模，生成能够捕获短程和长程依赖关系的表示。LongNet 的线性计算复杂度及其分布式算法使我们能够克服计算和内存的限制。我们将 LongViT 应用于计算病理学领域，旨在千兆像素全切片图像内进行癌症诊断和预后。实验结果表明，LongViT 能有效地编码千兆像素图像，并在癌症亚型分类和生存预测方面优于先前的最先进方法。代码和模型将在 https://aka.ms/LongViT 上提供。
引用
@article{arxiv.2312.03558,
title = {When an Image is Worth 1,024 x 1,024 Words: A Case Study in Computational Pathology},
author = {Wenhui Wang and Shuming Ma and Hanwen Xu and Naoto Usuyama and Jiayu Ding and Hoifung Poon and Furu Wei},
journal= {arXiv preprint arXiv:2312.03558},
year = {2023}
}