基于句法角色的无监督句子表示内容解耦

将神经表示与语言因素相关联，对于构建和分析可被人类解释的自然语言处理（NLP）模型至关重要。在这些因素中，句法角色（如主语、直接宾语等）及其实现方式是本质标记，因为它们可理解为谓词结构的分解从而也是句子意义的分解。从一个带注意力的深度概率生成模型出发，我们度量了潜变量与句法角色实现方式之间的交互，并表明无需监督即可获得这样的句子表示：不同的句法角色对应于明确区分的不同潜变量。我们提出的概率模型是一种注意力驱动变分自编码器（ADVAE）。受基于 Transformer 的机器翻译模型启发，ADVAE 通过注意力分析潜变量与输入词元之间的交互。我们还开发了一种评估协议，用以度量相对于句法角色实现方式的解耦程度。该协议基于编码器的注意力最大值和解码器的潜变量扰动。我们在 SNLI 数据集的原始英文文本上的实验表明：i) 句法角色的解耦可在无监督下诱导产生；ii) ADVAE 比经典序列 VAE 和 Transformer VAE 更好地区分句法角色；iii) 通过对相关潜变量进行干预，可在句子中分别修改句法角色的实现方式。我们的工作朝无监督可控内容生成迈出了第一步。我们的代码已公开可用。