M2ORT：从病理图像预测空间转录组的多样本对一回归 Transformer
计算机视觉与模式识别
2024-01-25 v2 多媒体
摘要
空间转录组学的进步促进了基于组织病理图像的基因表达空间感知分析。尽管 ST 数据为肿瘤微环境提供了有价值的见解，但其获取成本仍然高昂。因此，直接从数字病理图像预测 ST 表达是理想的选择。当前方法通常采用现有的回归主干网络来完成此任务，这忽略了数字病理图像固有的多尺度层次数据结构。为了解决这一局限性，我们提出了 M2ORT，一种多样本对一回归 Transformer，它可以通过解耦的多尺度特征提取器来适应病理图像的层次结构。与使用一对一图像-标签对训练的传统模型不同，M2ORT 一次接受多张不同放大倍数的病理图像，以共同预测其对应公共 ST 点位的基因表达，旨在通过训练学习多样本对一的关系。我们在三个公共 ST 数据集上测试了 M2ORT，实验结果表明，M2ORT 能够以更少的参数和浮点运算次数实现 SOTA 性能。代码获取地址：https://github.com/Dootmaan/M2ORT/。
引用
@article{arxiv.2401.10608,
title = {M2ORT: Many-To-One Regression Transformer for Spatial Transcriptomics Prediction from Histopathology Images},
author = {Hongyi Wang and Xiuju Du and Jing Liu and Shuyi Ouyang and Yen-Wei Chen and Lanfen Lin},
journal= {arXiv preprint arXiv:2401.10608},
year = {2024}
}