Dynatask：一种用于创建动态 AI 基准任务的框架
计算与语言
2022-04-06 v1 人工智能
摘要
我们介绍了 Dynatask：一个用于设置自定义 NLP 任务的开源系统，旨在大幅降低托管和评估最先进 NLP 模型以及通过众包人员进行模型在环数据收集所需的技术知识和工作量。Dynatask 与 Dynabench 集成，后者是一个用于重新思考 AI 基准测试的研究平台，促进人类与模型在环的数据收集和评估。要创建任务，用户只需编写一个简短的任务配置文件，相关的 Web 界面和模型托管基础设施便会自动生成。该系统可在 https://dynabench.org/ 获取，完整库可在 https://github.com/facebookresearch/dynabench 找到。
引用
@article{arxiv.2204.01906,
title = {Dynatask: A Framework for Creating Dynamic AI Benchmark Tasks},
author = {Tristan Thrush and Kushal Tirumala and Anmol Gupta and Max Bartolo and Pedro Rodriguez and Tariq Kane and William Gaviria Rojas and Peter Mattson and Adina Williams and Douwe Kiela},
journal= {arXiv preprint arXiv:2204.01906},
year = {2022}
}
备注
ACL System Demos 2022