利用双焦点注意力机制与门控正交化从结构化数据生成描述

在这项工作中，我们关注从包含字段（如国籍、职业等）和取值（如印度人、演员、导演等）的结构化事实表生成自然语言描述的任务。一种简单的选择是将表格视为字段与取值的序列，然后对此任务使用标准的 seq2seq 模型。然而，这样的模型过于通用，未利用任务特定的特征。例如，在从表格生成描述时，人类会在两个层面上关注信息：(i) 字段（宏观层面）和 (ii) 字段内的取值（微观层面）。此外，人类会在若干时间步内持续关注某个字段，直到该字段的所有信息都已生成，然后不再返回该字段（因为已无内容可述）。为捕捉这种行为，我们使用 (i) 一种融合的双焦点注意力机制，利用并组合微观与宏观层面信息，以及 (ii) 一种门控正交化机制，试图确保某个字段被记住若干时间步然后被遗忘。我们在一个近期发布的数据集上实验，该数据集包含关于人物的实事表及其对应的英文单行传记描述。此外，我们还引入了两个类似的法语和德语数据集。我们的实验表明，所提模型相比近期提出的最先进方法取得了 21% 的相对提升，相比基础 seq2seq 模型取得了 10% 的相对提升。本工作开发的代码与数据集已公开可用。