Cosmos：用于文本扩散建模的压缩平滑潜在空间

自回归语言模型主导着现代文本生成，但其序列特性引入了根本性限制：解码缓慢，且维持全局连贯性仍具挑战。扩散模型通过实现并行生成和灵活控制提供了一种有前景的替代方案；然而，其在文本生成中的应用受到 token 级表示高维度的阻碍。我们引入了 Cosmos，一种完全在专为扩散量身定制的压缩平滑潜在空间中运行的新型文本生成方法。该空间使用一个同时训练以实现 token 级重建并与预训练语言编码器的冻结激活对齐的自编码器来学习，提供了稳健的语义基础并实现了有效的基于扰动的数据增强。从实验上看，我们证明文本表示可以被压缩 $8\times$，同时保持与 token 级扩散模型相当的生成质量。此外，增加潜在序列长度使 Cosmos 能够超越基于扩散和自回归的基线。我们在包括故事生成、问题生成、摘要和去毒在内的四项不同生成任务上评估了 Cosmos，并将其与各种生成范式进行比较。Cosmos 实现了相当或更优的生成质量，同时提供了超过 $2\times$ 的推理速度。代码发布于 \href{https://github.com/MeshchaninovViacheslav/cosmos}{GitHub}