关于 NLP 研究预注册的双向讨论
计算与语言
2023-02-21 v1
摘要
Van Miltenburg 等人（2021）建议 NLP 研究应采用预注册，以防止fishing expeditions并促进阴性结果的发表。表面上看，这是一个非常合理的建议，似乎能解决 NLP 研究的许多方法论问题。我们讨论了利弊——有些是旧的，有些是新的：a) 预注册受到在已知结果后回溯假设这一做法的挑战；b) 预注册可能使 NLP 偏向验证性研究；c) 预注册必须允许将研究重新归类为探索性；d) 预注册可能增加发表偏倚；e) 预注册可能增加插旗行为；f) 预注册可能增加 p-hacking；以及最后，g) 预注册可能使我们风险容忍度降低。我们将我们的讨论以对话形式呈现，展示辩论的双方。
引用
@article{arxiv.2302.10086,
title = {A Two-Sided Discussion of Preregistration of NLP Research},
author = {Anders Søgaard and Daniel Hershcovich and Miryam de Lhoneux},
journal= {arXiv preprint arXiv:2302.10086},
year = {2023}
}
备注
EACL 2023