实体抽象是否有助于生成式 Transformers 推理？
计算与语言
2022-11-22 v2 人工智能
机器学习
摘要
我们研究了将实体类型抽象纳入预训练Transformers的效用，并在四项需要不同形式逻辑推理的NLP任务上测试这些方法：（1）基于文本关系推理的组合语言理解（CLUTRR），（2）溯因推理（ProofWriter），（3）多跳问答（HotpotQA），以及（4）对话式问答（CoQA）。我们提出并从经验上探索了三种添加此类抽象的方式：（i）作为额外的输入嵌入，（ii）作为待编码的单独序列，以及（iii）作为模型的辅助预测任务。总体而言，我们的分析表明，具备抽象实体知识的模型表现优于无此知识的模型。最佳的抽象感知模型在CLUTRR和ProofWriter上分别取得了88.8%和91.8%的总体准确率，而基线模型分别为62.9%和89.8%。然而，对于HotpotQA和CoQA，我们发现F1分数平均仅提升0.5%。我们的结果表明，显式抽象在需要多步推理的形式化逻辑推理设定中收益显著，但暗示其在逻辑结构较不形式化的NLP任务中益处较小。
引用
@article{arxiv.2201.01787,
title = {Does Entity Abstraction Help Generative Transformers Reason?},
author = {Nicolas Gontier and Siva Reddy and Christopher Pal},
journal= {arXiv preprint arXiv:2201.01787},
year = {2022}
}
备注
TMLR 2022; 28 pages; 9 tables; 1 figure