重新思考语言模型中的电路完备性：AND、OR 与 ADDER 门
机器学习
2025-09-26 v2
摘要
电路发现已逐渐成为机制可解释性中最突出的方法之一，电路完备性的研究也获得了越来越多的关注。无法保证完备性的电路发现方法不仅导致电路在不同运行之间不固定，还会导致关键机制被遗漏。不完备性的本质源于电路中 OR 门的存在，这类门在标准电路发现方法中往往只能被部分检测到。为此，我们系统地引入三种逻辑门：AND、OR 和 ADDER 门，并将电路分解为这些逻辑门的组合。通过这些门的概念，我们推导出实现忠实性和完备性所需的最小条件。此外，我们提出了一种结合基于噪声的干预和基于去噪的干预的框架，该框架可以轻松集成到现有的电路发现方法中，而不会显著增加计算复杂度。该框架能够完全识别逻辑门并在电路中加以区分。除了对框架恢复忠实性、完备性和稀疏性能力的广泛实验验证外，我们还利用该框架揭示了三种逻辑门的基本性质，如它们在输出中的比例和贡献，并探索了它们在语言模型功能中的行为方式。
引用
@article{arxiv.2505.10039,
title = {Rethinking Circuit Completeness in Language Models: AND, OR, and ADDER Gates},
author = {Hang Chen and Jiaying Zhu and Xinyu Yang and Wenya Wang},
journal= {arXiv preprint arXiv:2505.10039},
year = {2025}
}
备注
accepted by NeurIPS 2025 (poster)