揭示更多浅层启发式：基于三段论模式探查Transformer预训练语言模型的自然语言推理能力
计算与语言
2022-01-20 v1 机器学习
摘要
在本文中，我们探究经微调用于自然语言推理（NLI）的基于Transformer的预训练语言模型（PLM）所使用的浅层启发式。为此，我们基于三段论构建了自己的数据集，并评估了若干模型在该数据集上的表现。我们发现证据表明，这些模型严重依赖某些浅层启发式，利用前提与假设之间的对称与非对称关系。我们认为，本研究中可观察到的泛化能力不足——这正成为该领域热烈争论的话题——意味着PLM当前并未学习NLI，而是学习了伪启发式。
引用
@article{arxiv.2201.07614,
title = {Uncovering More Shallow Heuristics: Probing the Natural Language Inference Capacities of Transformer-Based Pre-Trained Language Models Using Syllogistic Patterns},
author = {Reto Gubelmann and Siegfried Handschuh},
journal= {arXiv preprint arXiv:2201.07614},
year = {2022}
}