AGDC：联合离散与连续空间的自回归变长序列生成
机器学习
2026-01-12 v1 人工智能
计算机视觉与模式识别
摘要
基于Transformer的自回归模型在数据生成方面表现出色，但因其依赖于离散化的令牌而受到固有限制，这限制了它们高精度表示连续值的能力。我们分析了现有基于离散化的方法在生成混合离散-连续序列时的可扩展性限制，特别是在半导体电路设计等高精度领域，精度损失可能导致功能失效。为应对这一挑战，我们提出了AGDC，一个新颖的统一框架，用于对变长序列的离散值和连续值进行联合建模。AGDC采用一种混合方法，将离散值的分类预测与连续值的基于扩散的建模相结合，并引入了两个关键技术组件：一个序列结束（EOS）logit调整机制，该机制使用MLP根据序列上下文动态调整EOS token的logit；以及一个集成到损失函数中的长度正则化项。此外，我们还提出了ContLayNet，一个大规模基准数据集，包含334K个高精度半导体布局样本，并配有专门的评估指标，用于捕捉精度误差会显著影响性能的功能正确性。在半导体布局（ContLayNet）、图形布局和SVG上的实验表明，与基于离散化和固定模式的基线方法相比，AGDC在生成高保真混合向量表示方面具有优越性能，实现了跨不同领域的可扩展高精度生成。
引用
@article{arxiv.2601.05680,
title = {AGDC: Autoregressive Generation of Variable-Length Sequences with Joint Discrete and Continuous Spaces},
author = {Yeonsang Shin and Insoo Kim and Bongkeun Kim and Keonwoo Bae and Bohyung Han},
journal= {arXiv preprint arXiv:2601.05680},
year = {2026}
}