基于 Transformer 的链式事实自回归推理
信息检索
2020-12-22 v1 计算与语言
机器学习
摘要
本文提出一种用于多跳解释再生（multi-hop explanation regeneration）的迭代推理算法，该算法在给定自然语言问题及其答案的情况下，以文本片段形式检索相关事实证据。当进行推理所需的事实来源数量增加时，组合多个证据或事实源进行多跳推理变得愈发困难。我们的算法通过自回归地分解从语料库中选择事实的过程来应对此问题，使下一次迭代以先前所选事实为条件。这使我们能够使用成对学习排序（pairwise learning-to-rank）损失。我们在 TextGraphs 2019 和 2020 共享任务的解释再生数据集上验证了我们的方法。该任务的现有工作要么孤立地评估事实，要么人为限制可能的事实链，从而限制了多跳推理。我们证明，我们的算法与预训练 transformer 模型结合使用时，在精确率、训练时间和推理效率方面均优于先前的最先进（SOTA）方法。
引用
@article{arxiv.2012.11321,
title = {Autoregressive Reasoning over Chains of Facts with Transformers},
author = {Ruben Cartuyvels and Graham Spinks and Marie-Francine Moens},
journal= {arXiv preprint arXiv:2012.11321},
year = {2020}
}
备注
Published at International Conference on Computational Linguistics 2020 (ICCL) (COLING)