利用 Transformer 中的归纳偏置通过 VAE 无监督解耦句法与语义
计算与语言
2022-05-20 v2 机器学习
摘要
我们提出一种用于文本生成的生成模型，其展现出句法与语义的解耦潜在表示。与以往工作相反，该模型不需要如成分句法树之类的句法信息，或如释义对之类的语义信息。我们的模型仅依赖于在基于注意力的架构（如 Transformer）中发现的归纳偏置。在 Transformer 的注意力中，键处理信息选择，而值指定传达何种信息。我们称为 QKVAE 的模型在其解码器中使用注意力来读取潜在变量，其中一个潜在变量推断键，另一个推断值。我们在潜在表示以及句法/语义迁移上进行的实验表明，QKVAE 显示出清晰的句法与语义解耦迹象。我们还表明，与有监督模型相比，我们的模型展现出有竞争力的句法迁移能力，且相当的有监督模型需要相当大量的数据（超过 50K 样本）才能在句法和语义迁移上均超越它。我们实验的代码已公开可用。
引用
@article{arxiv.2205.05943,
title = {Exploiting Inductive Bias in Transformers for Unsupervised Disentanglement of Syntax and Semantics with VAEs},
author = {Ghazi Felhi and Joseph Le Roux and Djamé Seddah},
journal= {arXiv preprint arXiv:2205.05943},
year = {2022}
}
备注
Accepted @ NAACL 2022