WakaVT：一种用于和歌生成的序列变分 Transformer

诗歌生成长期以来一直是人工智能的一项挑战。在日本诗歌生成的范畴内，许多研究者关注俳句生成，但很少有人聚焦于和歌生成。为进一步探索自然语言生成系统在日本诗歌创作中的创造潜力，我们提出了一种新颖的和歌生成模型 WakaVT，该模型在给定用户指定关键词的情况下自动生成和歌。首先，提出一种基于加性掩码的方法以满足形式约束。其次，将 Transformer 与变分自编码器的结构相整合以提升生成内容的质量。具体而言，为获得新颖性与多样性，WakaVT 采用一系列潜变量，有效捕获和歌数据中的词级变异性。为在流畅性、连贯性和意义性方面提升语言质量，我们进一步提出融合多级自注意力机制，恰当地建模了和歌的层次化语言结构。据我们所知，我们首次基于 Transformer 和/或变分自编码器研究和歌生成。客观与主观评估结果均表明，我们的模型显著优于基线。