NeuroSurgeon：一个用于子网络分析的工具包
机器学习
2023-09-04 v1 计算与语言
摘要
尽管可解释性领域近期取得了进展，关于神经网络所学习表示的算法仍有很多未知。近期工作试图通过将训练后的模型分解为功能电路来理解模型（Csordás et al., 2020; Lepori et al., 2023）。为推进该研究，我们开发了 NeuroSurgeon，一个可用于在 Huggingface Transformers 库（Wolf et al., 2019）中发现并操控模型内子网络的 Python 库。NeuroSurgeon 可在 https://github.com/mlepori1/NeuroSurgeon 免费获取。
引用
@article{arxiv.2309.00244,
title = {NeuroSurgeon: A Toolkit for Subnetwork Analysis},
author = {Michael A. Lepori and Ellie Pavlick and Thomas Serre},
journal= {arXiv preprint arXiv:2309.00244},
year = {2023}
}