GP-VAE 语言模型隐空间中的自回归性：一项实证消融研究
机器学习
2026-01-01 v1
摘要
本文基于我们先前介绍该架构的工作，对 GP-VAE 模型中的隐空间自回归进行了基于消融的分析。语言模型通常依赖于对词元（token）的自回归分解。相比之下，我们先前的工作提出通过因果高斯过程将序列结构转移到隐空间，同时使用非自回归解码器。在此，我们对隐空间自回归所扮演的角色进行了系统的消融研究。我们比较了：(i) 具有自回归隐空间动态的完整 GP-VAE 模型，(ii) 隐变量相互独立的非自回归消融模型，以及 (iii) 标准的词元级自回归 Transformer。我们的结果表明，在所考虑的范围内（中等规模语料库和短训练上下文），隐空间自回归诱导出的隐轨迹与高斯过程先验的兼容性显著更高，并表现出更强的长程稳定性。相比之下，移除自回归会导致隐空间结构退化和不稳定的长程行为。这些发现突显了隐空间自回归作为组织长程结构的有效机制的作用，同时与词元级自回归建模保持互补。这些结果应被解释为对表征结构的实证分析，而非对新架构的提议。
引用
@article{arxiv.2512.24102,
title = {Autoregressivity in the Latent Space of a GP-VAE Language Model: An Empirical Ablation Study},
author = {Yves Ruffenach},
journal= {arXiv preprint arXiv:2512.24102},
year = {2026}
}
备注
A focused ablation study analyzing the role of latent autoregression in GP-VAE models