基于 Transformer 的基因表达表示学习用于稳健的癌症预后建模
机器学习
2025-04-15 v1 人工智能
摘要
Transformer 模型在自然语言和视觉任务中取得了显著的成功，但其在基因表达分析中的应用仍有限，主要due to 数据稀疏性、高维度和缺失值。我们提出了 GexBERT，一个基于 Transformer 的自编码器框架，用于从基因表达数据中进行稳健的表示学习。GexBERT 通过在大规模转录组组资料上进行预训练，使用掩码和恢复目标学习上下文感知的基因嵌入，这捕捉了数千个基因之间的共表达关系。我们在癌症研究中的三个关键任务上评估了 GexBERT：全组癌症分类、癌症特定生存预测和缺失值插值。GexBERT 实现了从有限基因子集获得的领先分类准确率，通过恢复表观驱动基因的表达改进了生存预测，并在高缺失率下超越了传统插值方法。此外，其基于注意力的可解释性揭示了跨癌症类型的生物学有意义的基因模式。这些发现表明 GexBERT 作为一种可扩展且有效的基因表达建模工具具有实用的价值，在基因覆盖有限或不完整的情境下尤为重要。
关键词
引用
@article{arxiv.2504.09704,
title = {Transformer-Based Representation Learning for Robust Gene Expression Modeling and Cancer Prognosis},
author = {Shuai Jiang and Saeed Hassanpour},
journal= {arXiv preprint arXiv:2504.09704},
year = {2025}
}