ShortcutLens：一种用于探索自然语言理解数据集中捷径的可视分析系统
人机交互
2023-01-16 v1 计算与语言
机器学习
摘要
基准数据集在评估自然语言理解（NLU）模型中发挥着重要作用。然而，捷径——基准数据集中不期望存在的偏差——会损害基准数据集在揭示模型真实能力方面的有效性。由于捷径在覆盖率、产出率与语义含义上各不相同，NLU专家在创建基准数据集时难以系统性地理解并规避它们。本文开发了一个可视分析系统ShortcutLens，以帮助NLU专家探索NLU基准数据集中的捷径。该系统允许用户对捷径进行多层次探索。具体而言，统计视图帮助用户掌握基准数据集中捷径的覆盖率与产出率等统计信息；模板视图采用分层且可解释的模板来概括不同类型的捷径；实例视图允许用户查看被捷径所覆盖的对应实例。我们通过案例研究与专家访谈来评估系统的有效性与可用性。结果表明，ShortcutLens支持用户通过捷径更好地理解基准数据集问题，启发他们创建具有挑战性且贴切的基准数据集。
引用
@article{arxiv.2208.08010,
title = {ShortcutLens: A Visual Analytics Approach for Exploring Shortcuts in Natural Language Understanding Dataset},
author = {Zhihua Jin and Xingbo Wang and Furui Cheng and Chunhui Sun and Qun Liu and Huamin Qu},
journal= {arXiv preprint arXiv:2208.08010},
year = {2023}
}
备注
15 pages, 6 figures