双向表示增强的自回归生物序列生成
机器学习
2025-12-12 v3
摘要
自回归(AR)模型在序列生成中常见，但在诸多生物学任务中受限于其单向性质，如 de novo 肽段序列和蛋白质建模，无法捕捉关键的全局双向 token 依赖。非自回归(NAR)模型提供整体的双向表示，但面临生成一致性和可扩展性挑战。为超越这些限制，我们提出一种混合框架，通过动态整合来自非自回归机制的丰富上下文信息来增强 AR 生成。我们的方法将共享输入编码器与两个解码器耦合: 一个非自回归解码器学习潜在的双向生物特征，以及一个 AR 解码器通过利用这些双向特征合成生物序列。一个新颖的跨解码器注意力模块使 AR 解码器能够迭代查询和整合这些双向特征，从而丰富其预测。这种协同作用通过量身定制的训练策略实现，其中包括重要性退火以实现目标的平衡，以及跨解码器梯度阻断以实现稳定、聚焦的学习。在对九种物种的严苛 de novo 肽段序列基准测试中，我们的模型在 AR 和 NAR 基准线上均显著超越，独特地将 AR 的稳定性与 NAR 的上下文感知和谐共存，为 diverse downstream data 提供稳健、优越的性能。这一研究推进了生物序列建模技术，同时为增强 AR 模型以实现更复杂序列生成中的双向理解提供了新颖的架构范式。代码可在 https://github.com/BEAM-Labs/denovo 获取。
引用
@article{arxiv.2510.08169,
title = {Bidirectional Representations Augmented Autoregressive Biological Sequence Generation},
author = {Xiang Zhang and Jiaqi Wei and Zijie Qiu and Sheng Xu and Zhi Jin and ZhiQiang Gao and Nanqing Dong and Siqi Sun},
journal= {arXiv preprint arXiv:2510.08169},
year = {2025}
}
备注
Accepted by NeurIPS 2025