Azimuth：面向文本分类的系统化错误分析
机器学习
2022-12-20 v2 人工智能
计算与语言
人机交互
摘要
我们提出 Azimuth，一个开源且易用的文本分类错误分析工具。与 ML 开发周期的其他阶段（如模型训练与超参数调优）相比，错误分析阶段的流程与工具尚不成熟。然而，该阶段对于开发可靠且可信的 AI 系统至关重要。为使错误分析更系统化，我们提出一种包含数据集分析与模型质量评估的方法，并由 Azimuth 提供支持。我们旨在通过对显著性图、相似性、不确定性和行为分析等一系列 ML 技术的利用与集成，帮助 AI 从业者发现并解决模型未泛化的区域，所有功能集成于一个工具中。我们的代码与文档可在 github.com/servicenow/azimuth 获取。
引用
@article{arxiv.2212.08216,
title = {Azimuth: Systematic Error Analysis for Text Classification},
author = {Gabrielle Gauthier-Melançon and Orlando Marquez Ayala and Lindsay Brin and Chris Tyler and Frédéric Branchaud-Charron and Joseph Marinier and Karine Grande and Di Le},
journal= {arXiv preprint arXiv:2212.08216},
year = {2022}
}
备注
To be published in Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing: System Demonstrations. 13 pages and 14 figures