利用潜在结构与数据增强改进组合泛化
计算与语言
2022-05-06 v2
摘要
已有的研究表明，通用非结构化神经网络在分布外组合泛化上表现不佳。通过样例重组的组合数据增强已将一些关于组合性的先验知识迁移到此类黑盒神经模型以用于若干语义解析任务，但这通常需要任务特定的工程或仅带来有限增益。我们提出一种更强大的数据重组方法，使用名为组合结构学习器（CSL）的模型。CSL 是一个以准同步上下文无关文法为骨干的生成模型，我们从训练数据中归纳得到它。我们从 CSL 中采样重组样例，并将其加入预训练序列到序列模型（T5）的微调数据中。该过程有效地将 CSL 的大部分组合偏置迁移到 T5 以用于诊断任务，并得到一个比 T5-CSL 集成在两项真实世界组合泛化任务上更强的模型。这为这些需要泛化到自然语言变化和元素新颖组合的极具挑战性的语义解析任务带来了新的最先进性能。
引用
@article{arxiv.2112.07610,
title = {Improving Compositional Generalization with Latent Structure and Data Augmentation},
author = {Linlu Qiu and Peter Shaw and Panupong Pasupat and Paweł Krzysztof Nowak and Tal Linzen and Fei Sha and Kristina Toutanova},
journal= {arXiv preprint arXiv:2112.07610},
year = {2022}
}
备注
NAACL 2022