iSEA：一种用于 NLP 模型语义错误分析的交互式流水线
人机交互
2022-03-10 v1 计算与语言
摘要
NLP 模型中的错误分析对于成功的模型开发与部署至关重要。诊断错误的一种常见方法是识别数据集中模型产生最多错误的子群体。然而，现有方法通常基于预定义特征来界定子群体，这要求用户提前形成错误假设。为补充这些方法，我们提出了 iSEA，一种用于 NLP 模型语义错误分析的交互式流水线，它在人机协同交互系统的背景下自动发现具有高错误率且语义基础的子群体。iSEA 使模型开发者能够通过发现的子群体更多地了解其模型错误，通过对发现的子群体进行交互式分析来验证错误来源，并通过定义自定义子群体来检验关于模型错误的假设。该工具支持在 token 和概念层面对易错子群体进行语义描述，以及预定义的更高层特征。通过用例和专家访谈，我们展示了 iSEA 如何辅助错误理解与分析。
引用
@article{arxiv.2203.04408,
title = {iSEA: An Interactive Pipeline for Semantic Error Analysis of NLP Models},
author = {Jun Yuan and Jesse Vig and Nazneen Rajani},
journal= {arXiv preprint arXiv:2203.04408},
year = {2022}
}
备注
Accepted at IUI 2022, 11 pages, 6 figures