APOLLO：一种面向逻辑推理的语言模型自适应预训练简易方法
计算与语言
2023-06-06 v2 人工智能
机器学习
摘要
文本的逻辑推理是一项重要能力，需要理解文本中的信息及其相互关联，然后通过推理得出新的结论。先前提升语言模型逻辑推理能力的工作需要对训练数据进行复杂处理（例如，将符号知识对齐到文本），从而产生特定于任务的数据增强方案，限制了通用逻辑推理技能的学习。在这项工作中，我们提出了 APOLLO，一种具有增强逻辑推理能力的自适应预训练语言模型。我们基于一组逻辑推理关键词，从 Wikipedia 中选取一个子集，用于语言模型的持续预训练。我们使用两种自监督损失函数：一种是改进的掩码语言建模损失，其中仅掩码那些可能比基本语言理解需要更多推理的特定词性单词；另一种是句子级分类损失，用于教导模型区分蕴含和矛盾类型的句子。所提出的训练范式既简单又独立于任务格式。我们通过在两个逻辑推理数据集上与先前基线进行比较，证明了 APOLLO 的有效性。APOLLO 在 ReClor 上表现相当，在 LogiQA 上优于基线。代码库已公开。
引用
@article{arxiv.2212.09282,
title = {APOLLO: A Simple Approach for Adaptive Pretraining of Language Models for Logical Reasoning},
author = {Soumya Sanyal and Yichong Xu and Shuohang Wang and Ziyi Yang and Reid Pryzant and Wenhao Yu and Chenguang Zhu and Xiang Ren},
journal= {arXiv preprint arXiv:2212.09282},
year = {2023}
}
备注
Accepted at ACL 2023, code available at https://github.com/INK-USC/APOLLO