基于 Transformer 自回归流的连续空间灵活语言建模
机器学习
2025-07-02 v1 计算与语言
摘要
自回归模型在语言建模方面取得了显著的进展。它们对离散标记、单向上下文和单次解码的基础性依赖，虽是其成功的核心，也激发了探索一种可能提供新建模自由度的设计空间。本文探索了另一种范式，将语言建模从离散标记空间转向连续潜在空间。我们提出了一种新型框架 TarFlowLM，使用基于 Transformer 的自回归正规化流来建模这些连续表示。这种方法 unlocks 了大量的建模灵活性，使可构建能够通过堆叠交替方向自回归变换捕获全局双向上下文的模型，支持具有灵活标记块大小的块状生成，以及支持分层多次生成过程。我们进一步提出了新的混合基于的耦合变换，以捕捉由离散数据塑造的潜在空间中的复杂依赖关系，并展示了与传统离散自回归模型之间的理论联系。广泛的实验表明，我们的方法在语言建模基准测试中表现出色，凸显了框架内固有的灵活建模能力。
关键词
引用
@article{arxiv.2507.00425,
title = {Flexible Language Modeling in Continuous Space with Transformer-based Autoregressive Flows},
author = {Ruixiang Zhang and Shuangfei Zhai and Jiatao Gu and Yizhe Zhang and Huangjie Zheng and Tianrong Chen and Miguel Angel Bautista and Josh Susskind and Navdeep Jaitly},
journal= {arXiv preprint arXiv:2507.00425},
year = {2025}
}