潜在自回归 GP-VAE 语言模型
机器学习
2025-12-16 v2
摘要
我们提出一种基于高斯过程（GP）集成到变分自编码器（VAE）中的完全潜在自回归方案。在此框架下，将顺序动力学从观测空间转移到连续潜在空间，而语言生成仍通过非自回归解码器并行进行。我们给出完整的方法论表述，包括因果 GP 先验、结构化 amortized 后验，以及基于正则化 ELBO 的训练协议。在刻意受限的概念证明（POC）框架内进行的经验评估显示，该模型可稳定训练，顺序采样和并行采样变体表现出一致行为。总体而言，结果表明语言模型的部分时序结构可由潜在空间的概率几何而非显式神经操作来支持。
引用
@article{arxiv.2512.09535,
title = {Latent-Autoregressive GP-VAE Language Model},
author = {Yves Ruffenach},
journal= {arXiv preprint arXiv:2512.09535},
year = {2025}
}
备注
27 pages, 1 figure, 4 tables. Proof-of-concept study of a latent-autoregressive GP-VAE language model with TCN encoder and non-autoregressive decoder. Code available at https://github.com/y-v-e-s/GP-VAE-Latent-AR