因果演化图谱：挑战链式模型推理
机器学习
2025-06-10 v1 人工智能
计算与语言
摘要
鉴于链式模型(CoM)中每个子链仅依赖前一个子链的信息，由于因果掩码阻止多级子链之间全局上下文流，导致丢失长程依赖，本工作提出了因果演化图谱(GoCE)。其核心原则是将隐式token表示映射到可微且稀疏的因果邻接矩阵，然后通过因果掩码注意力和因果稀疏注意力矩阵将因果约束渗透到每一层计算中。通过结合干预一致性损失测试和自演化门，实现了因果结构学习与变压器架构自适应更新之间的动态平衡。研究人员在使用GoCE中引入的变压器变体架构构建的沙盒中建立了实验环境，分别使用Claude Sonnet 4、o4-mini-high和DeepSeek R1。它在公开数据集上进行评估，包括CLUTRR、CLADDER、EX-FEVER和CausalQA，并与基线LLM进行比较。研究发现，GoCE加强了变压器捕获长程因果依赖的能力，同时改善了自演化能力。它不仅在设计原则方面超越了CoM的设计，还为未来在因果学习和持续自适应改进方面的研究提供了经验。
引用
@article{arxiv.2506.07501,
title = {Graph-of-Causal Evolution: Challenging Chain-of-Model for Reasoning},
author = {Libo Wang},
journal= {arXiv preprint arXiv:2506.07501},
year = {2025}
}
备注
The relevant code has been uploaded to the publicly available GitHub repository. The link is: https://github.com/brucewang123456789/GeniusTrail/tree/main/GoCE