LEGOEval：基于众包对话系统评估的开源工具包
人工智能
2021-05-06 v1 人机交互
摘要
我们提出 LEGOEval，一个开源工具包，使研究人员能够使用在线众包平台 Amazon Mechanical Turk，以几行代码轻松评估对话系统。与现有工具包相比，LEGOEval 通过提供映射到常用 React.js 界面组件的 Python API 实现了灵活的任务设计。研究人员可以使用我们内置的页面轻松定制其评估流程，如同玩乐高积木一般。因此，LEGOEval 提供了一种快速、一致的方法来复现人工评估结果。除了灵活的任务设计，LEGOEval 还提供了一个简易的 API 来审查所收集的数据。
引用
@article{arxiv.2105.01992,
title = {LEGOEval: An Open-Source Toolkit for Dialogue System Evaluation via Crowdsourcing},
author = {Yu Li and Josh Arnold and Feifan Yan and Weiyan Shi and Zhou Yu},
journal= {arXiv preprint arXiv:2105.01992},
year = {2021}
}