基于 Transformer 的变分自编码器中图诱导的句法-语义空间
计算与语言
2023-11-16 v1
摘要
在变分自编码器（VAEs）中注入句法信息已被证明可整体提升性能与泛化能力。实现该目标的一种有效策略是通过多任务学习或双编码器架构，将分布语义特征与句法结构的编码分离到异构潜空间中。然而，采用此类技术的现有工作仅限于基于 LSTM 的 VAE。本文研究了在基于 Transformer 的 VAE 架构（即 Optimus）中实现结构化句法注入的潜空间分离方法。具体而言，我们探索了在编码阶段如何通过图模型与序列模型的集成来利用句法结构，以及如何通过低秩算子将多个专门的潜表示注入解码器的注意力机制。我们在自然语言句子与数学表达式上进行的实证评估表明，所提出的端到端 VAE 架构能够带来更好的潜空间整体组织，缓解标准 VAE 设置中的信息损失，从而在语言建模与下游生成任务上取得增强的性能。
引用
@article{arxiv.2311.08579,
title = {Graph-Induced Syntactic-Semantic Spaces in Transformer-Based Variational AutoEncoders},
author = {Yingji Zhang and Marco Valentino and Danilo S. Carvalho and Ian Pratt-Hartmann and André Freitas},
journal= {arXiv preprint arXiv:2311.08579},
year = {2023}
}