Thermostat：一个大型 NLP 模型解释与分析工具集
计算与语言
2021-09-01 v1
摘要
在语言领域，如同其他领域一样，神经网络可解释性正扮演愈发重要的角色，其中特征归因方法处于前沿。许多此类方法需要可观的计算资源以及关于实现细节和参数选择的专家知识。为促进研究，我们提出 Thermostat，其包含一个大型模型解释集合及配套的分析工具。Thermostat 可便捷访问超过 20 万条针对多个 SOTA 模型在不同 NLP 任务上决策的解释，这些解释由多种解释器生成。该数据集的构建耗费超过 10k GPU 小时（>一年）；社区如今得以节省的计算时间。配套软件工具支持逐实例分析解释，也可在语料库层面累积分析。用户无需编排实现细节即可研究和比较模型、数据集与解释器。Thermostat 完全开源，使语言领域的可解释性研究民主化，避免冗余计算，并提升可比性与可复现性。
引用
@article{arxiv.2108.13961,
title = {Thermostat: A Large Collection of NLP Model Explanations and Analysis Tools},
author = {Nils Feldhus and Robert Schwarzenberg and Sebastian Möller},
journal= {arXiv preprint arXiv:2108.13961},
year = {2021}
}
备注
Accepted to EMNLP 2021 System Demonstrations