因果序：在因果推断中利用不完美专家的关键
人工智能
2025-04-09 v2 计算与语言
摘要
大语言模型（LLMs）已被用作推断因果图的专家，通常反复应用成对提示来询问每对变量的因果关系。然而，此类专家（包括人类领域专家）在给定成对提示时无法区分直接与间接效应。因此，我们提议使用因果序而非图，作为利用专家知识的更稳健输出接口。即使查询完美的成对提示专家，我们也表明推断出的图可能有显著错误，而因果序始终正确。但在实践中，LLMs是不完美专家，我们发现成对提示会导致多个环。因此，我们提出三元组方法，一种新颖的查询策略，为每对变量引入一个辅助变量，并指示LLM避免该三元组内的环。随后其使用基于投票的集成方法，在确保成本效率的同时获得更高准确率并减少环。在多个真实世界图上，该基于三元组的方法使用LLMs和人类标注者均比成对提示得到更准确的序。三元组方法通过用不同辅助变量重复查询专家来增强鲁棒性，使Phi-3和Llama-3 8B Instruct等较小模型超越使用成对提示的GPT-4。在实际应用方面，我们展示了三元组方法提供的专家因果序如何用于降低下游图发现与效应推断任务的误差。
引用
@article{arxiv.2310.15117,
title = {Causal Order: The Key to Leveraging Imperfect Experts in Causal Inference},
author = {Aniket Vashishtha and Abbavaram Gowtham Reddy and Abhinav Kumar and Saketh Bachu and Vineeth N Balasubramanian and Amit Sharma},
journal= {arXiv preprint arXiv:2310.15117},
year = {2025}
}