基于变分自编码器与注意力的可解释句子表示

Ghazi Felhi

基于变分自编码器与注意力的可解释句子表示

计算与语言 2023-05-05 v1 机器学习

作者: Ghazi Felhi

摘要

在本论文中,我们开发了增强自然语言处理(NLP)中近期表示学习技术可解释性的方法,同时考虑到标注数据不可用的情况。我们选择利用变分自编码器(VAEs),因其在将观测关联到潜在生成因子方面的高效性,以及在数据高效学习和可解释表示学习中的有效性。作为第一个贡献,我们识别并移除了半监督 VAE 工作机制中不必要的组件,使其更快、更小且更易于设计。我们第二个也是主要的贡献是使用 VAE 和 Transformer 构建两个具有归纳偏置的模型,以在无标注数据的情况下将潜在表示中的信息分离为可理解的概念。第一个模型 Attention-Driven VAE (ADVAE) 能够分别表示并控制句子中关于句法角色的信息。第二个模型 QKVAE 使用分离的潜在变量为其 Transformer 解码器形成键和值,并能够在其神经表示中分离句法和语义信息。在迁移实验中,QKVAE 相比监督模型具有竞争性表现,且与使用 50K 标注样本的监督模型表现相当。此外,QKVAE 相比 ADVAE 显示出改进的句法角色解耦能力。总体而言,我们证明了在文本数据丰富但标注稀缺的情况下,利用无标注数据增强最先进深度学习架构用于语言建模的可解释性是可能的。

关键词

可解释表示变分自编码器 Transformer 句子表示无监督学习句法语义解耦自然语言处理

引用

@article{arxiv.2305.02810,
  title  = {Interpretable Sentence Representation with Variational Autoencoders and Attention},
  author = {Ghazi Felhi},
  journal= {arXiv preprint arXiv:2305.02810},
  year   = {2023}
}

备注

Ph.D. Thesis

基于变分自编码器与注意力的可解释句子表示

摘要

关键词

引用

备注

相关论文