自动编码 Pixies：基于图卷积的泛函分布语义 amortised 变分推断
计算与语言
2020-05-12 v2
摘要
泛函分布语义为分布语义提供了一种具有语言学可解释性的框架，其将词的意义表示为一个函数（二分类器）而非向量。然而，大量潜变量意味着推断在计算上代价高昂，因而模型训练收敛缓慢。本文引入 Pixie 自动编码器，它以图卷积神经网络增强泛函分布语义的生成模型，以执行 amortised 变分推断。这使模型能够更有效地训练，在两个任务（语境中的语义相似度与语义组合）上取得更好结果，并优于 BERT 这一大型预训练语言模型。
引用
@article{arxiv.2005.02991,
title = {Autoencoding Pixies: Amortised Variational Inference with Graph Convolutions for Functional Distributional Semantics},
author = {Guy Emerson},
journal= {arXiv preprint arXiv:2005.02991},
year = {2020}
}
备注
To be published in Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL); added acknowledgements