通过自回归建模实现统一的跨尺度3D生成与理解
机器学习
2025-10-10 v3 材料科学
生物大分子
摘要
跨尺度的3D结构建模至关重要，其应用涵盖从流体模拟和3D重建到蛋白质折叠和分子对接。然而，尽管存在共享的3D空间模式，当前的方法仍然是碎片化的，模型仅针对特定领域进行狭义专业化，无法跨任务或尺度泛化。我们提出了Uni-3DAR，一个用于跨尺度3D生成和理解的统一自回归框架。其核心是一个基于八叉树数据结构的由粗到细的分词器，它将多样的3D结构压缩为紧凑的1D token序列。我们进一步提出了一种两级子树压缩策略，将八叉树token序列最多减少8倍。为了应对由压缩引入的token位置动态变化的挑战，我们引入了一种掩码下一token预测策略，确保准确的位置建模，显著提升了模型性能。在包括小分子、蛋白质、聚合物、晶体和宏观3D对象在内的多个3D生成和理解任务上进行的广泛实验，验证了其有效性和多功能性。值得注意的是，Uni-3DAR以大幅优势超越了先前最先进的扩散模型，实现了高达256%的相对提升，同时推理速度最高提升了21.8倍。
引用
@article{arxiv.2503.16278,
title = {Unified Cross-Scale 3D Generation and Understanding via Autoregressive Modeling},
author = {Shuqi Lu and Haowei Lin and Lin Yao and Zhifeng Gao and Xiaohong Ji and Yitao Liang and Weinan E and Linfeng Zhang and Guolin Ke},
journal= {arXiv preprint arXiv:2503.16278},
year = {2025}
}