HyperHELM：用于 mRNA 语言建模的双曲层次编码
机器学习
2025-11-05 v2 基因组学
摘要
语言模型日益应用于蛋白质和 mRNA 等生物序列，但其默认的欧几里得几何可能无法匹配生物数据固有的层次结构。虽然双曲几何为容纳层次数据提供了更好的替代方案，但它尚未应用于 mRNA 序列的语言建模。在本工作中，我们提出了 HyperHELM，这是一个在双曲空间中为 mRNA 序列实现掩码语言模型预训练的框架。通过在欧几里得骨干网络之上叠加双曲层的混合设计，HyperHELM 使学习到的表示与由 mRNA 和氨基酸之间关系定义的生物学层次相一致。在多个多物种数据集上，它在 10 项涉及属性预测的任务中有 9 项优于欧几里得基线，平均提升 10%，并且在向长序列和低 GC 含量序列的分布外泛化方面表现出色；在抗体区域注释任务中，其注释准确率比层次感知的欧几里得模型高出 3%。我们的结果突显了双曲几何作为 mRNA 序列层次语言建模有效归纳偏置的作用。
引用
@article{arxiv.2509.24655,
title = {HyperHELM: Hyperbolic Hierarchy Encoding for mRNA Language Modeling},
author = {Max van Spengler and Artem Moskalev and Tommaso Mansi and Mangal Prakash and Rui Liao},
journal= {arXiv preprint arXiv:2509.24655},
year = {2025}
}