图神经网络作为单细胞转录组中替代变换器的方案
机器学习
2025-07-08 v1 基因组学
摘要
图神经网络 (GNN) 和变换器在处理感兴趣节点特征时具有显著相似性，变换器使用查询-键得分，而GNN使用边缘。相较于GNN，变换器利用动态注意力能力更好地表示相对位置关系，因而成为大规模序列预训练中的标准骨干网络。然而，细微的差异促使我们考虑：在位置不关键的情况下，能否在某些领域如单细胞转录组中用图神经网络替代变换器？本文首先探讨GNN和变换器之间的相似性与差异，特别是关于相对位置的考量。此外，我们设计了一个合成示例，说明在样本中不存在相对位置时，它们等价。最后，我们在大规模位置无关数据集——单细胞转录组上进行大量实验，发现GNN在计算资源消耗更少的情况下实现了与变换器相当的性能。这些发现为单细胞转录组领域的研究者提供了新的见解，挑战了变换器始终是最佳选择的既有观念。
引用
@article{arxiv.2507.04125,
title = {Graph Neural Networks as a Substitute for Transformers in Single-Cell Transcriptomics},
author = {Jiaxin Qi and Yan Cui and Jinli Ou and Jianqiang Huang and Gaogang Xie},
journal= {arXiv preprint arXiv:2507.04125},
year = {2025}
}
备注
9 pages, 5 figures