通过条件前门调整实现大语言模型知识密集型任务的无偏推理
计算与语言
2025-08-26 v1
摘要
大语言模型（LLMs）在自然语言处理方面展现出惊人的能力，但在需要深层推理和整合外部知识的知识密集型任务上仍表现不佳。尽管提出了检索增强生成（RAG）和链式思考（CoT）等方法来增强LLMs的外部知识，但仍受到LLMs内部偏见的影响，常导致错误答案。本文提出一种新型因果提示框架，条件前门提示（Conditional Front-Door Prompting, CFD-Prompting），该框架在消除内部偏见的同时，实现了关于查询与答案之间因果效应的无偏估计，条件依赖于外部知识。通过构建反事实的外部知识，本框架模拟了查询在不同情境下的行为，解决了查询固定且不易进行直接因果干预的挑战。相较于标准的前门调整，条件变体在假设条件更弱的情况下运作，提高了推理过程的鲁棒性和可泛化性。广泛的实验在多个LLMs和基准数据集上表明，CFD-Prompting在准确率和鲁棒性方面显著优于现有基线方法。
引用
@article{arxiv.2508.16910,
title = {Unbiased Reasoning for Knowledge-Intensive Tasks in Large Language Models via Conditional Front-Door Adjustment},
author = {Bo Zhao and Yinghao Zhang and Ziqi Xu and Yongli Ren and Xiuzhen Zhang and Renqiang Luo and Zaiwen Feng and Feng Xia},
journal= {arXiv preprint arXiv:2508.16910},
year = {2025}
}
备注
This paper has been accepted to the 34th ACM International Conference on Information and Knowledge Management (CIKM 2025), Full Research Paper