CAT：用于将细粒度因果知识注入大型语言模型的因果注意力微调
计算与语言
2025-09-10 v2 人工智能
摘要
大型语言模型（LLM）在各个领域取得了显著成功。然而，一个基本问题依然存在：LLM 能否有效地利用因果知识进行预测和生成？通过实证研究，我们发现直接在大规模数据上训练的 LLM 往往捕获的是虚假相关性而非真实的因果关系，导致性能次优，尤其是在分布外（OOD）场景中。为了应对这一挑战，我们提出了因果注意力微调（Causal Attention Tuning, CAT），这是一种将细粒度因果知识注入注意力机制的新方法。我们提出了一种自动化流程，利用人类先验自动生成 token 级因果信号，并引入 Re-Attention 机制来指导训练，帮助模型聚焦于因果结构，同时减轻注意力分数中的噪声和偏差。在我们提出的虚假 Token 博弈（Spurious Token Game, STG）基准和多个下游任务上的实验结果表明，我们的方法有效地利用了因果知识进行预测，并在 OOD 场景中保持鲁棒性。CAT 在 STG 数据集上平均提升了 5.76%，在下游任务上提升了 1.56%。值得注意的是，Llama-3.1-8B 模型在 STG_M 上的 OOD 性能从 64.5% 提升至 90.5%，而 Qwen 在 STG_H 数据集上的 OOD 性能从 25.4% 提升至 55.9%。实现细节可在 https://github.com/Kairong-Han/CAT 找到。
引用
@article{arxiv.2509.01535,
title = {CAT: Causal Attention Tuning For Injecting Fine-grained Causal Knowledge into Large Language Models},
author = {Kairong Han and Wenshuo Zhao and Ziyu Zhao and JunJian Ye and Lujia Pan and Kun Kuang},
journal= {arXiv preprint arXiv:2509.01535},
year = {2025}
}
备注
Accepted to EMNLP2025 Main conference