基于结构化重排序与繁衍层的组合泛化
计算与语言
2023-02-16 v2
摘要
Seq2seq模型已被证明在组合泛化方面存在困难,即泛化到训练期间未见过的、且可能更为复杂的结构。受擅长组合泛化的基于语法的模型启发,我们提出了一个灵活端到端可微神经模型,其组合了两个结构操作:本文引入的繁衍(fertility)步骤,以及基于先前工作(Wang et al., 2021)的重排序步骤。为保证可微性,我们对每步使用期望值。在需要泛化到更长样本的、具挑战性的现实语义解析任务的组合切分上,我们的模型以大幅优势超越seq2seq模型。它与其他针对组合泛化的模型相比也具竞争力。
引用
@article{arxiv.2210.03183,
title = {Compositional Generalisation with Structured Reordering and Fertility Layers},
author = {Matthias Lindemann and Alexander Koller and Ivan Titov},
journal= {arXiv preprint arXiv:2210.03183},
year = {2023}
}
备注
EACL 2023 camera-ready