RankByGene：基于跨模态排序一致性的基因引导的组织病理表示学习
图像与视频处理
2025-03-25 v2 计算机视觉与模式识别
定量方法
摘要
空间转录组学(Spatial transcriptomics, ST)通过在组织内映射基因表达，提供essential的空间背景，使我们能够详细研究细胞的异质性和组织组织结构。然而，对齐ST数据与组织病理图像面临着由于固有的空间失真和模态特定变异导致的挑战。现有方法主要依赖直接对齐，往往难以捕捉复杂的跨模态关系。为解决这些限制，我们提出了一种新框架，通过基于排序的对齐损失来对齐基因和图像特征，保留跨模态中相对相似性，从而实现稳健的多尺度对齐。为进一步增强对齐的稳定性，我们采用基于教师-学生网络架构的自监督知识蒸馏，有效缓解了基因表达数据中高维度、稀疏性和噪声带来的挑战。在包括七个公开数据集上的大量实验中，我们展示了该方法的有效性，显示其在对齐和预测性能方面优于现有方法。
引用
@article{arxiv.2411.15076,
title = {RankByGene: Gene-Guided Histopathology Representation Learning Through Cross-Modal Ranking Consistency},
author = {Wentao Huang and Meilong Xu and Xiaoling Hu and Shahira Abousamra and Aniruddha Ganguly and Saarthak Kapse and Alisa Yurovsky and Prateek Prasanna and Tahsin Kurc and Joel Saltz and Michael L. Miller and Chao Chen},
journal= {arXiv preprint arXiv:2411.15076},
year = {2025}
}
备注
18 pages, 9 figures