LangVAE与LangSpace：构建与探针用于语言模型VAE
计算与语言
2025-05-02 v1 人工智能
摘要
我们提出了LangVAE，一个用于在预训练大型语言模型(LLM)上构建变分自编码器(VAE)的新型框架。此类语言模型VAE能够将其预训练组件的知识编码为更紧凑且语义上解耦的表示。通过LangVAE搭配的框架LangSpace可以分析获得的表示，该框架实现了一系列探针方法，如向量遍历和插值、解耦措施以及聚类可视化。LangVAE和LangSpace为构建和分析文本表示提供了灵活、高效且可扩展的方式，集成简单，可用于HuggingFace Hub上可用的模型。此外，我们针对不同的编码器和解码器组合，以及标注输入，进行了一系列实验，揭示了在一般化和解耦方面，不同架构家族和规模之间存在广泛的相互作用。我们的发现表明，这是一个为系统化实验和理解文本表示而构建的有前景的框架。
引用
@article{arxiv.2505.00004,
title = {LangVAE and LangSpace: Building and Probing for Language Model VAEs},
author = {Danilo S. Carvalho and Yingji Zhang and Harriet Unsworth and André Freitas},
journal= {arXiv preprint arXiv:2505.00004},
year = {2025}
}