APo-VAE：双曲空间中的文本生成
机器学习
2021-07-16 v3 机器学习
摘要
自然语言通常表现出蕴含复杂句法与语义的固有层次结构。然而，大多数最先进的深度生成模型仅在欧几里得向量空间中学习嵌入，未考虑语言的这一结构特性。本文研究双曲潜在空间中的文本生成，以学习连续的层次表示。我们提出对抗庞加莱变分自编码器（APo-VAE），其潜在变量的先验和变分后验均通过包裹正态分布定义在庞加莱球上。通过采用 KL 散度的原对偶形式，引入对抗学习过程以增强模型训练的鲁棒性。在语言建模和对话响应生成任务上的大量实验表明，所提出的 APo-VAE 模型优于欧几里得潜在空间中的 VAE，这归功于其在双曲空间中捕获潜在语言层次的卓越能力。
引用
@article{arxiv.2005.00054,
title = {APo-VAE: Text Generation in Hyperbolic Space},
author = {Shuyang Dai and Zhe Gan and Yu Cheng and Chenyang Tao and Lawrence Carin and Jingjing Liu},
journal= {arXiv preprint arXiv:2005.00054},
year = {2021}
}