具有解耦先验的变分自编码器用于低资源特定任务自然语言生成

在本文中，我们提出了一种具有解耦先验的变分自编码器VAE-DPRIOR，用于在无或仅有少量特定任务标注样本情况下的特定任务自然语言生成。为了应对跨任务的组合泛化，我们的模型通过为潜在内容空间引入一个条件先验并为潜在标签空间引入另一个条件先验，来执行解耦表示学习。这两类先验均满足一种称为$\epsilon$-解耦的新性质。我们从经验和理论上表明，该新颖先验即使没有先前工作中的特定正则化也能解耦表示。内容先验使得能够直接从已见任务中学习到的内容空间中采样多样的内容表示，并将其与新任务的表示相融合，以在低资源设定下生成语义多样的文本。我们的大量实验证明了我们的模型在以下方面优于竞争基线的性能：i) 连续零样本/少样本学习中的数据增强，以及 ii) 少样本设定下的文本风格迁移。