Angler：助力机器翻译从业者优先排序模型改进
人机交互
2023-04-13 v1 人工智能
计算与语言
机器学习
摘要
机器学习（ML）模型在现实世界中可能以意想不到的方式失效，但并非所有的模型失效都是同等重要的。在时间和资源有限的情况下，ML从业者被迫对其模型调试与改进工作排定优先级。通过对苹果公司13名ML从业者的访谈，我们发现从业者会构建小型针对性测试集，以估计某个错误的性质、范围及其对用户的影响。我们在一項针对机器翻译模型的案例研究中延续了这一洞见，并开发了Angler——一个交互式视觉分析工具，用于帮助从业者优先排序模型改进。在一项有7名机器翻译专家参与的用户研究中，我们利用Angler理解了当输入空间无限、且获取可靠模型质量信号代价高昂时的优先级排序实践。我们的研究显示，参与者能够通过分析定量汇总统计并定性地通过阅读句子评估数据，形成更有趣且以用户为中心的优先级排序假设。
引用
@article{arxiv.2304.05967,
title = {Angler: Helping Machine Translation Practitioners Prioritize Model Improvements},
author = {Samantha Robertson and Zijie J. Wang and Dominik Moritz and Mary Beth Kery and Fred Hohman},
journal= {arXiv preprint arXiv:2304.05967},
year = {2023}
}
备注
Accepted to CHI 2023. 20 pages, 6 figures