HELM-BERT：用于中等大小肽性质预测的 Transformer
机器学习
2025-12-30 v1 生物大分子
摘要
治疗性肽已成为现代药物发现中的关键模态，占据了一个化学和拓扑上丰富的空间。虽然准确预测其理化性质对于加速肽开发至关重要，但现有的分子语言模型所依赖的表示无法捕捉这种复杂性。原子级 SMILES 表示法会生成冗长的 token 序列并掩盖环状拓扑，而氨基酸级表示法则无法编码现代肽设计中核心的多种化学修饰。为了弥合这一表示鸿沟，大分子分层编辑语言（HELM）提供了一个统一框架，能够精确描述单体组成和连接性，使其成为肽语言建模的理想基础。在此，我们提出了 HELM-BERT，这是首个基于 HELM 表示法训练的编码器型肽语言模型。基于 DeBERTa，HELM-BERT 专为捕捉 HELM 序列内的分层依赖关系而设计。该模型在一个包含 39,079 个涵盖线性和环状结构的化学多样性肽的精选语料库上进行了预训练。在环肽膜渗透性预测和肽-蛋白质相互作用预测等下游任务中，HELM-BERT 显著优于基于 SMILES 的最先进语言模型。这些结果表明，HELM 显式的单体和拓扑感知表示在治疗性肽建模方面具有显著的数据效率优势，弥合了小分子与蛋白质语言模型之间长期存在的鸿沟。
关键词
引用
@article{arxiv.2512.23175,
title = {HELM-BERT: A Transformer for Medium-sized Peptide Property Prediction},
author = {Seungeon Lee and Takuto Koyama and Itsuki Maeda and Shigeyuki Matsumoto and Yasushi Okuno},
journal= {arXiv preprint arXiv:2512.23175},
year = {2025}
}
备注
35 pages; includes Supplementary Information