用于深度 NLP 模型神经元分析的 NeuroX 库
计算与语言
2023-05-29 v1
摘要
神经元分析揭示了知识如何在表示中结构化，并发现神经元在网络中的作用。除了增进对我们模型的理解外，神经元分析还支持去偏、领域适配和架构搜索等多种应用。我们提出 NeuroX，一个用于开展自然语言处理模型神经元分析的综合开源工具包。它在统一 API 下实现了多种解释方法，并提供了数据处理与评估框架，从而让研究者和实践者更便捷地进行神经元分析。该 Python 工具包可在 https://www.github.com/fdalvi/NeuroX 获取。演示视频见 https://youtu.be/mLhs2YMx4u8。
引用
@article{arxiv.2305.17073,
title = {NeuroX Library for Neuron Analysis of Deep NLP Models},
author = {Fahim Dalvi and Hassan Sajjad and Nadir Durrani},
journal= {arXiv preprint arXiv:2305.17073},
year = {2023}
}
备注
ACL 2023