Transformer 中的推理——缓解虚假相关性与推理捷径
机器学习
2024-03-20 v1 计算与语言
摘要
Transformer 语言模型是用于各种自然语言任务的神经网络，其中包括一些还需要逻辑推理的任务。然而，Transformer 模型可能很容易学习数据中的虚假模式，从而短路实际推理。在本文中，我们研究了 Transformer 在多大程度上可以被训练以 a) 近似命题逻辑中的推理，同时 b) 避免通过训练数据中的虚假相关性产生的已知推理捷径。为此，我们使用了一个在真值与问题中规则数量等之间存在已知虚假相关性的数据集。我们用证明来增强数据，并训练了两个模型：一个生成式 Transformer，WP-BART，在问题及其完整证明上进行训练；以及一个神经符号模型，SIP-BART，在单个证明步骤上进行训练，并将生成式 Transformer 模型 BART 与符号证明检查器相结合。我们发现 SIP-BART 成功避免了推理捷径，而 WP-BART 则没有。对于 SIP-BART，我们随后识别了一些由于使用预训练语言模型而产生的、先前文献中未描述的剩余推理错误。对这些错误进行了定性分析，以创建包含四种不同类型额外陷阱的分类法。
引用
@article{arxiv.2403.11314,
title = {Reasoning in Transformers -- Mitigating Spurious Correlations and Reasoning Shortcuts},
author = {Daniel Enström and Viktor Kjellberg and Moa Johansson},
journal= {arXiv preprint arXiv:2403.11314},
year = {2024}
}