蛋白质自回归建模：基于多尺度结构生成
摘要
我们提出了蛋白质自回归建模（PAR），这是一种首次实现的多尺度自回归框架，用于蛋白质主链生成。通过从粗到细的下一个尺度预测，PAR生成的结构模仿雕刻雕像的过程，即在尺度上形成粗糙的拓扑结构并逐步细化结构细节。为实现这一点，PAR由三个关键组件构成：(i) 多尺度下采样操作在训练期间代表蛋白质结构在多个尺度上的表示；(ii) 自回归Transformer编码多尺度信息并产生条件嵌入以引导结构生成；(iii) 基于流的主链解码器在这些嵌入的条件下生成主链原子。此外，自回归模型因训练和生成程序之间的偏差而受到暴露偏置的影响，显著降低结构生成质量。我们通过采用噪声上下文学习和计划抽样有效地缓解了这一问题，实现了稳健的主链生成。值得注意的是，PAR exhibits strong zero-shot generalization, supporting flexible human-prompted conditional generation and motif scaffolding without requiring fine-tuning. On the unconditional generation benchmark, PAR effectively learns protein distributions and produces backbones of high design quality, and exhibits favorable scaling behavior. Together, these properties establish PAR as a promising framework for protein structure generation.
引用
@article{arxiv.2602.04883,
title = {Protein Autoregressive Modeling via Multiscale Structure Generation},
author = {Yanru Qu and Cheng-Yen Hsieh and Zaixiang Zheng and Ge Liu and Quanquan Gu},
journal= {arXiv preprint arXiv:2602.04883},
year = {2026}
}
备注
ICML 2026 Spotlight; ByteDance Seed Tech Report; Page: https://par-protein.github.io/