MoRE：来自冻结预训练变换器的 batch-robust 多组学表示
机器学习
2025-11-27 v2 基因组学
摘要
多组学数据的表示学习面临维度极高、模态异构和特定队列中 batch effect 等挑战。虽然预训练变换器底层在生物序列建模中展现出广泛的泛化能力，但其在多组学集成中的应用仍受到忽视。我们提出 MoRE（Multi-Omics Representation Embedding），一个复用冻结预训练变换器以将异构测序对齐到共享潜在空间的框架。不同于纯生成式方法，MoRE 采用参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）策略，优先实现跨样本和跨模态对齐，而非简单序列重建。具体而言，MoRE 在冻结底层上附加轻量级、模态特定的适配器及任务自适应融合层。它联合优化掩码建模目标，同时包含监督对比学习和 batch-invariant 对齐损失，生成保留结构的嵌入，实现在未见细胞类型和平台上的泛化。我们对比评估了 MoRE 与 scGPT、scVI、Harmony 等既定基线，包括去除 batch effect、稀有群体检测和模态迁移。结果表明，MoRE 在 batch 鲁棒性和生物保守性方面表现出竞争力，同时显著降低可训练参数数量。本工作将 MoRE 定位为通用组学基础模型的实用步骤。
引用
@article{arxiv.2511.20382,
title = {MoRE: Batch-Robust Multi-Omics Representations from Frozen Pre-trained Transformers},
author = {Audrey Pei-Hsuan Chen},
journal= {arXiv preprint arXiv:2511.20382},
year = {2025}
}