长故事上的可微推理——评估神经模型的系统性泛化
计算与语言
2022-03-22 v1 人工智能
机器学习
摘要
当代神经网络在许多方面取得了一系列进展与成功；然而，当暴露于训练分布之外的数据时，它们可能无法预测正确答案。在这项工作中，我们关注这一泛化问题，并由此基于长故事对一系列模型进行了系统且鲁棒的分析。相关实验基于CLUTRR进行，CLUTRR是一个诊断基准套件，可通过在小故事图上训练并在更大故事图上测试来分析自然语言理解（NLU）系统的泛化能力。为处理多关系故事图，我们考虑两类神经模型："E-GNN"，即可同时处理图结构数据并考虑边属性的基于图的模型；以及"L-Graph"，即可处理图线性化版本的基于序列的模型。我们进行了广泛的实证评估，发现改进后的循环神经网络在每个系统性泛化任务上都取得了令人惊讶的准确结果，优于改进后的图神经网络，而后者产生了更鲁棒的模型。
引用
@article{arxiv.2203.10620,
title = {Differentiable Reasoning over Long Stories -- Assessing Systematic Generalisation in Neural Models},
author = {Wanshui Li and Pasquale Minervini},
journal= {arXiv preprint arXiv:2203.10620},
year = {2022}
}