中文

基于结构化重排序与繁衍层的组合泛化

计算与语言 2023-02-16 v2

摘要

Seq2seq模型已被证明在组合泛化方面存在困难,即泛化到训练期间未见过的、且可能更为复杂的结构。受擅长组合泛化的基于语法的模型启发,我们提出了一个灵活端到端可微神经模型,其组合了两个结构操作:本文引入的繁衍(fertility)步骤,以及基于先前工作(Wang et al., 2021)的重排序步骤。为保证可微性,我们对每步使用期望值。在需要泛化到更长样本的、具挑战性的现实语义解析任务的组合切分上,我们的模型以大幅优势超越seq2seq模型。它与其他针对组合泛化的模型相比也具竞争力。

关键词

引用

@article{arxiv.2210.03183,
  title  = {Compositional Generalisation with Structured Reordering and Fertility Layers},
  author = {Matthias Lindemann and Alexander Koller and Ivan Titov},
  journal= {arXiv preprint arXiv:2210.03183},
  year   = {2023}
}

备注

EACL 2023 camera-ready