LogiGAN：通过对抗式预训练学习逻辑推理
计算与语言
2022-12-12 v2
摘要
我们提出 LogiGAN，一种用于提升语言模型逻辑推理能力的无监督对抗式预训练框架。通过检测启发式方法在大规模文本语料中自动识别逻辑推理现象后，我们训练语言模型预测被掩码遮盖的逻辑陈述。受反思性思维在人类学习中的促进作用启发，我们类比地以对抗式生成器-验证器（Generator-Verifier）架构模拟学习-思考过程，以辅助逻辑学习。LogiGAN 实现了一种新颖的序列 GAN 方法，其（a）通过将生成器作为句子级生成似然打分器，并以与验证器达成打分一致为学习目标，规避了序列 GAN 的不可微挑战；（b）在计算上可行，支持任意目标长度的大规模预训练。经 LogiGAN 预训练的基础与大型语言模型在 12 个需要通用推理能力的数据集上均表现出明显的性能提升，揭示了逻辑在广泛推理中的基础作用以及 LogiGAN 的有效性。对 LogiGAN 各组件的消融研究揭示了语言能力与逻辑能力之间的相对正交性，并表明反思性思维的促进作用或许也能推广到机器学习中。
引用
@article{arxiv.2205.08794,
title = {LogiGAN: Learning Logical Reasoning via Adversarial Pre-training},
author = {Xinyu Pi and Wanjun Zhong and Yan Gao and Nan Duan and Jian-Guang Lou},
journal= {arXiv preprint arXiv:2205.08794},
year = {2022}
}
备注
Accepted by NeurIPS 2022