Yes-Yes-Yes：面向ACL Rolling Review及更广泛应用的前瞻性数据收集
计算与语言
2022-10-21 v3
摘要
向公开可用文本资源的转变使得语言处理达到了前所未有的规模，却忽视了那些公开且开放许可数据稀缺的领域。为研究前瞻性收集文本数据是解决此种稀缺性的可行策略，但缺乏考虑数据收集诸多伦理、法律与保密相关方面的系统方法论。我们的工作呈现了一个在同行评审这一具挑战性且资源不足的NLP领域中进行前瞻性数据收集的案例研究。我们概述了前瞻性数据收集的伦理与法律诉求，并引入“Yes-Yes-Yes”——首个满足这些要求的基于捐赠的同行评审数据收集工作流。我们报告了Yes-Yes-Yes在ACL Rolling Review上的实施情况，并实证研究了前瞻性数据收集对数据集规模以及捐赠行为在同行评审平台上所引发偏差的影响。
引用
@article{arxiv.2201.11443,
title = {Yes-Yes-Yes: Proactive Data Collection for ACL Rolling Review and Beyond},
author = {Nils Dycke and Ilia Kuznetsov and Iryna Gurevych},
journal= {arXiv preprint arXiv:2201.11443},
year = {2022}
}
备注
Accepted at Findings of EMNLP 2022