AutoNLU:检测、根因分析与修复 NLU 模型错误
计算与语言
2021-10-14 v1 机器学习
摘要
提升生产环境中自然语言理解(NLU)模型,更具体地,任务型语义解析模型的质量是一项繁琐的任务。在本工作中,我们提出一个名为 AutoNLU 的系统,旨在扩展 NLU 质量改进流程。它为三个关键步骤增添了自动化:模型错误(即缺陷)的检测、归因与修正。我们检测到的失败任务数量是随机采样的四倍,发现即便在未校准模型上采用简单的主动学习采样方法,对此也出奇地有效。AutoNLU 工具使语言学家修复的语义解析缺陷数量达到先前手动流程的十倍,并自动修正了所有已识别缺陷的 65%。
引用
@article{arxiv.2110.06384,
title = {AutoNLU: Detecting, root-causing, and fixing NLU model errors},
author = {Pooja Sethi and Denis Savenkov and Forough Arabshahi and Jack Goetz and Micaela Tolliver and Nicolas Scheffer and Ilknur Kabul and Yue Liu and Ahmed Aly},
journal= {arXiv preprint arXiv:2110.06384},
year = {2021}
}
备注
8 pages, 5 figures