MERIt：元路径引导的对比学习用于逻辑推理
计算与语言
2022-03-02 v1 人工智能
摘要
逻辑推理对自然语言理解至关重要。以往研究要么采用基于图的模型来融入关于逻辑关系的先验知识，要么通过数据增强将符号逻辑引入神经模型。然而，这些方法严重依赖于标注的训练数据，因此由于数据集稀疏而遭受过拟合和泛化能力差的问题。为解决这两个问题，本文提出MERIt，一种元路径引导的对比学习方法，用于文本的逻辑推理，在丰富的无标注文本数据上进行自监督预训练。两种新颖的策略构成了我们方法不可或缺的组成部分。具体而言，设计了一种基于元路径的策略来发现自然文本中的逻辑结构，随后采用反事实数据增强策略来消除预训练引入的信息捷径。在两个具有挑战性的逻辑推理基准（ReClor和LogiQA）上的实验结果表明，我们的方法显著优于当前最优基线。
引用
@article{arxiv.2203.00357,
title = {MERIt: Meta-Path Guided Contrastive Learning for Logical Reasoning},
author = {Fangkai Jiao and Yangyang Guo and Xuemeng Song and Liqiang Nie},
journal= {arXiv preprint arXiv:2203.00357},
year = {2022}
}
备注
14 pages, 6 figures, Findings of ACL 2022