IF 的魔力：探究代码大语言模型的因果推理能力
计算与语言
2023-05-31 v1
摘要
因果推理，即识别因果关系的能力，在人类思维中至关重要。尽管大语言模型（LLMs）在许多 NLP 任务中取得成功，但它们进行复杂因果推理（如溯因推理和反事实推理）仍具挑战性。鉴于程序代码通过“if”等条件语句可能更频繁且更明确地表达因果关系，我们想探究代码大语言模型（Code-LLMs）是否获得了更好的因果推理能力。我们的实验表明，与仅文本的 LLM 相比，带有代码提示的 Code-LLM 在因果推理上显著更优。我们进一步从不同方面对提示进行干预，发现编程结构在代码提示设计中至关重要，而 Code-LLM 对格式扰动具有鲁棒性。
引用
@article{arxiv.2305.19213,
title = {The Magic of IF: Investigating Causal Reasoning Abilities in Large Language Models of Code},
author = {Xiao Liu and Da Yin and Chen Zhang and Yansong Feng and Dongyan Zhao},
journal= {arXiv preprint arXiv:2305.19213},
year = {2023}
}
备注
Findings of ACL 2023. Code and data are available at https://github.com/xxxiaol/magic-if