具有非参数变分信息瓶颈的 Transformer 变分自编码器
机器学习
2022-08-15 v2 计算与语言
摘要
我们通过为 Transformer 嵌入开发变分信息瓶颈正则化器，提出了一种用于 Transformer 的 VAE。我们将 Transformer 编码器的嵌入空间形式化为混合概率分布，并使用贝叶斯非参数方法推导针对此类基于注意力嵌入的非参数变分信息瓶颈（NVIB）。非参数方法所支持的可变混合分量数捕捉了注意力所支持的可变向量数，而我们非参数分布的交换性捕捉了注意力的置换不变性。这使得 NVIB 能够正则化注意力可访问的向量数量以及单个向量中的信息量。通过对 Transformer 编码器-解码器的交叉注意力以 NVIB 正则化，我们提出了一种非参数变分自编码器（NVAE）。在自然语言文本上训练 NVAE 的初步实验表明，所诱导的嵌入空间具有 Transformer 的 VAE 所需的特性。
引用
@article{arxiv.2207.13529,
title = {A Variational AutoEncoder for Transformers with Nonparametric Variational Information Bottleneck},
author = {James Henderson and Fabio Fehr},
journal= {arXiv preprint arXiv:2207.13529},
year = {2022}
}
备注
33 pages, 10 figures, 3 tables. First time this work has been made public