人类评估数据表 1.0：用于记录 NLP 中人类评估实验细节的模板
计算与语言
2021-03-18 v1
摘要
本文介绍人类评估数据表（Human Evaluation Datasheet），一种用于记录自然语言处理（NLP）中单个人类评估实验细节的模板。该数据表最初受 Bender 和 Friedman（2018）、Mitchell 等人（2019）以及 Gebru 等人（2020）开创性论文的启发，旨在以足够详尽且标准化的方式记录人类评估的属性，以支持可比性、元评估与可复现性检验。
引用
@article{arxiv.2103.09710,
title = {The Human Evaluation Datasheet 1.0: A Template for Recording Details of Human Evaluation Experiments in NLP},
author = {Anastasia Shimorina and Anya Belz},
journal= {arXiv preprint arXiv:2103.09710},
year = {2021}
}
备注
Unpublished manuscript