Captum：一个面向 PyTorch 的统一通用模型可解释性库
机器学习
2020-09-18 v1 人工智能
机器学习
摘要
本文介绍了一个面向 PyTorch [12] 的全新、统一的开源模型可解释性库。该库包含多种基于梯度和扰动的归因算法（亦称特征、神经元和层重要性算法）的通用实现，以及针对这些算法的一套评估指标。它可用于分类和非分类模型，包括基于神经网络 (NN) 构建的图结构模型。本文对支持的归因算法进行了高层概述，并展示了如何执行内存高效且可扩展的计算。我们强调，该库的三个主要特征是多模态、可扩展性和易用性。多模态支持图像、文本、音频或视频等不同模态的输入。可扩展性允许添加新算法和功能。该库的设计也易于理解和使用。此外，我们还介绍了一个名为 Captum Insights 的交互式可视化工具，它构建于 Captum 库之上，允许使用特征重要性指标进行基于样本的模型调试和可视化。
引用
@article{arxiv.2009.07896,
title = {Captum: A unified and generic model interpretability library for PyTorch},
author = {Narine Kokhlikyan and Vivek Miglani and Miguel Martin and Edward Wang and Bilal Alsallakh and Jonathan Reynolds and Alexander Melnikov and Natalia Kliushkina and Carlos Araya and Siqi Yan and Orion Reblitz-Richardson},
journal= {arXiv preprint arXiv:2009.07896},
year = {2020}
}