单细胞基础模型中的中间层编码最优生物表征
人工智能
2026-04-17 v1
摘要
当前单细胞基础模型基准统一提取最终层嵌入，认为其代表最优特征空间。我们系统评估了来自 scFoundation（1亿参数）和 Tahoe-X1（13亿参数）的层级表示在轨迹推断和扰动响应预测中的性能。分析结果表明，最优层取决于具体任务（轨迹峰值出现在 60% 深度，31% 位于最终层之上），也取决于背景条件（扰动最优值在 T 细胞激活状态下跨 0-96% 变化）。值得注意的是， quiescent 细胞中第一层嵌入在所有更深层次中均表现优异，这挑战了关于层次特征抽象的假设。这些发现表明，“提取位置”与“模型学习内容”同等重要， necessitating 对特定生物任务和细胞背景进行系统的层级评估，而非默认选择最终层嵌入。
引用
@article{arxiv.2604.14838,
title = {Intermediate Layers Encode Optimal Biological Representations in Single-Cell Foundation Models},
author = {Vincenzo Yuto Civale and Roberto Semeraro and Andrew David Bagdanov and Alberto Magi},
journal= {arXiv preprint arXiv:2604.14838},
year = {2026}
}
备注
9 pages, 2 figures, 4 tables. Accepted at the LMRL (Learning Meaningful Representations of Life) Workshop at ICLR 2026