Img2ST-Net：通过全卷积图像到图像学习从全切片组织学图像高效预测高分辨率空间组学
计算机视觉与模式识别
2025-08-21 v1
摘要
多模态 AI 的最新进展展示了直接从常规组织学图像生成目前成本高昂的空间转录组学（ST）数据的巨大潜力，为降低 ST 数据采集的高成本和时间密集性提供了一种途径。然而，ST 分辨率的不断提高，特别是 Visium HD 等平台达到 8 微米或更精细，带来了显著的计算和建模挑战。传统的逐点顺序回归框架在此尺度下变得低效且不稳定，而高分辨率 ST 固有的极端稀疏性和低表达水平进一步使预测和评估复杂化。为解决这些限制，我们提出了 Img2ST-Net，一个用于高效并行高分辨率 ST 预测的新型组织学到 ST 生成框架。与传统的逐点推理方法不同，Img2ST-Net 采用全卷积架构，以并行方式生成密集的高清基因表达图。通过将 HD ST 数据建模为超像素表示，该任务被从图像到组学推理重新表述为一个具有数百或数千个输出通道的超内容图像生成问题。这种设计不仅提高了计算效率，而且更好地保留了空间组学数据固有的空间组织。为增强稀疏表达模式下的鲁棒性，我们进一步引入了 SSIM-ST，一种专为高分辨率 ST 分析定制的、基于结构相似性的评估指标。我们提出了一个可扩展的、生物学上连贯的高分辨率 ST 预测框架。Img2ST-Net 为大规模高效且准确的 ST 推理提供了一个原则性解决方案。我们的贡献为下一代稳健且具有分辨率感知能力的 ST 建模奠定了基础。源代码已在 https://github.com/hrlblab/Img2ST-Net 公开发布。
引用
@article{arxiv.2508.14393,
title = {Img2ST-Net: Efficient High-Resolution Spatial Omics Prediction from Whole Slide Histology Images via Fully Convolutional Image-to-Image Learning},
author = {Junchao Zhu and Ruining Deng and Junlin Guo and Tianyuan Yao and Juming Xiong and Chongyu Qu and Mengmeng Yin and Yu Wang and Shilin Zhao and Haichun Yang and Daguang Xu and Yucheng Tang and Yuankai Huo},
journal= {arXiv preprint arXiv:2508.14393},
year = {2025}
}