非神经模型至关重要：对神经指代表达生成系统的再评估
计算与语言
2022-03-17 v1
摘要
近年来，神经模型在自然语言生成（NLG）中常优于基于规则与经典机器学习方法。这些经典方法如今常被忽视，例如在新神经模型被评估时。我们认为它们不应被忽略，因为对某些任务，设计良好的非神经方法比神经方法取得更好性能。本文以语言语境下生成指代表达的任务为例。我们考察了两个差异显著的英文数据集（WEBNLG 与 WSJ），并使用自动与人工评估对每种算法进行评价。总体而言，这些评估结果提示，具有简单规则集的基于规则系统在这两个数据集上与最先进神经 REG 系统相比取得相当或更好的性能。在更真实的数据集 WSJ 上，具有精心设计语言特征的基于机器学习的系统表现最佳。我们希望我们的工作能鼓励研究者在未来考虑非神经模型。
引用
@article{arxiv.2203.08274,
title = {Non-neural Models Matter: A Re-evaluation of Neural Referring Expression Generation Systems},
author = {Fahime Same and Guanyi Chen and Kees van Deemter},
journal= {arXiv preprint arXiv:2203.08274},
year = {2022}
}
备注
ACL 2022