BlackboxNLP-2025 MIB 共享任务：电路局部化方法的集成策略探索
计算与语言
2025-10-09 v1 机器学习
摘要
机械可解释性基准(MIB)的电路局部化轨道评估局部化大型语言模型(LLM)中负责特定任务行为的子网络的方法。本文我们探讨了对两种或多种电路局部化方法进行集成是否可提升性能。我们探索了两种变体：并行集成和顺序集成。在并行集成中，我们组合不同方法对每条边分配的归因分数——例如对平均值、最小值或最大值进行组合。在顺序集成中，我们使用通过 EAP-IG 获得的边归因分数作为更昂贵但更精确的电路识别方法——即边修剪的 warm start。我们观察到两种方法都在基准指标上取得显著提升，导致更精确的电路识别方法。最后，我们发现对包括顺序集成在内的多种方法进行并行集成可获得最佳结果。我们在 BlackboxNLP 2025 MIB 共享任务中评估了我们的方案，将集成得分与官方基线在多个模型-任务组合上进行比较。
关键词
引用
@article{arxiv.2510.06811,
title = {BlackboxNLP-2025 MIB Shared Task: Exploring Ensemble Strategies for Circuit Localization Methods},
author = {Philipp Mondorf and Mingyang Wang and Sebastian Gerstner and Ahmad Dawar Hakimi and Yihong Liu and Leonor Veloso and Shijia Zhou and Hinrich Schütze and Barbara Plank},
journal= {arXiv preprint arXiv:2510.06811},
year = {2025}
}
备注
The 8th BlackboxNLP Workshop (Shared Task), 6 pages