探索自然语言推理中组合泛化的持续学习
计算与语言
2024-07-29 v2
摘要
组合自然语言推理（Compositional Natural Language Inference）已被用于评估神经模型执行自然语言推理（NLI）的真实能力。然而，当前的评估假设模型可以预先完全访问所有原始推理，这与人类持续获取推理知识的方式形成对比。在本文中，我们引入了推理中的持续组合泛化（Continual Compositional Generalization in Inference, C2Gen NLI）挑战，其中模型持续获取构成原始推理任务的知识，以此作为组合推理的基础。我们通过为组合 NLI 推理任务设计持续学习设置，探索了持续学习如何影响 NLI 中的组合泛化。实验表明，模型在持续场景下无法进行组合泛化。为解决这一问题，我们首先对各种持续学习算法进行了基准测试并验证了其有效性。随后，我们进一步分析了 C2Gen，重点关注如何排序原始任务和组合推理类型，并考察子任务之间的相关性。我们的分析表明，通过在观察子任务依赖关系和增加难度等级的同时持续学习子任务，持续学习可以增强组合泛化能力。
引用
@article{arxiv.2403.04400,
title = {Exploring Continual Learning of Compositional Generalization in NLI},
author = {Xiyan Fu and Anette Frank},
journal= {arXiv preprint arXiv:2403.04400},
year = {2024}
}