因果蒸馏：将结构化解释从大型语言模型迁移至紧凑型语言模型
计算与语言
2025-05-27 v1
摘要
大型专有语言模型表现出强大的因果推理能力，而较小的开源模型难以复制这种能力。我们引入了一种新颖的因果解释蒸馏框架，将因果推理技能从强大的教师模型迁移至紧凑的开源模型。其核心思想是通过训练较小模型生成与教师模型一致的结构化因果解释，从而发展其因果推理能力。为了评估学生模型生成解释的质量，我们引入了一种名为因果解释一致性(CEC)的新指标，用于评估因果推理的结构与逻辑一致性。该指标利用句子级语义对齐来衡量生成解释的各部分与教师模型参考的对应程度，从而捕捉底层因果链的忠实度与覆盖率。我们的框架与 CEC 指标为训练较小模型执行稳健的因果推理，以及系统评估语言模型输出解释的一致性提供了有原则的基础。
引用
@article{arxiv.2505.19511,
title = {Causal Distillation: Transferring Structured Explanations from Large to Compact Language Models},
author = {Aggrey Muhebwa and Khalid K. Osman},
journal= {arXiv preprint arXiv:2505.19511},
year = {2025}
}