IDOL：面向逻辑指示符的逻辑推理预训练
计算与语言
2023-06-28 v1 人工智能
摘要
在机器阅读理解（MRC）领域，现有系统在 SQuAD 等诸多任务上已超越人类平均水平。然而，在逻辑推理方面仍有很长的路要走。尽管已有一些针对该问题的方法被提出，但它们要么设计得相当复杂，要么过度依赖外部结构。本文提出 IDOL（InDicator-Oriented Logic Pre-training，面向指示符的逻辑预训练），这是一种易于理解但高效的进一步预训练任务，借助 6 类逻辑指示符和逻辑丰富的数据集 LGP（LoGic Pre-training）从逻辑上增强预训练模型。IDOL 在逻辑推理 MRC 中最具代表性的两个基准 ReClor 和 LogiQA 上取得了最先进的性能，并被证明能够泛化到不同的预训练模型及其他类型的 MRC 基准（如 RACE 和 SQuAD 2.0），同时通过 GLUE 上的任务测试保持了有竞争力的通用语言理解能力。此外，在大型语言模型时代的开端，我们将 ChatGPT 等若干大型语言模型纳入对比，发现 IDOL 仍展现出其优势。
引用
@article{arxiv.2306.15273,
title = {IDOL: Indicator-oriented Logic Pre-training for Logical Reasoning},
author = {Zihang Xu and Ziqing Yang and Yiming Cui and Shijin Wang},
journal= {arXiv preprint arXiv:2306.15273},
year = {2023}
}
备注
Accepted to the Findings of ACL 2023