基于期望属性发现变量绑定回路
人工智能
2023-07-10 v1
摘要
近期研究表明，语言模型中的计算可能是人类可理解的，已有成功工作对单单元特征和输入输出回路进行定位与干预。本文提出一种方法，将因果中介实验扩展为仅通过指定一组期望属性（desiderata，即执行该子任务的模型组件的因果属性）来自动识别负责特定子任务的模型组件。作为概念验证，我们将该方法应用于在LLaMA-13B中自动发现共享的变量绑定回路（variable binding circuitry），该回路为多个算术任务检索变量值。我们的方法成功地将变量绑定定位到最后令牌残差流中仅9个注意力头（共1.6k个）和一个MLP。
引用
@article{arxiv.2307.03637,
title = {Discovering Variable Binding Circuitry with Desiderata},
author = {Xander Davies and Max Nadeau and Nikhil Prakash and Tamar Rott Shaham and David Bau},
journal= {arXiv preprint arXiv:2307.03637},
year = {2023}
}