低估 claims 的危险:报告 NLP 系统失效时须谨慎的理由
计算与语言
2022-03-11 v3 人工智能
摘要
NLP 领域的研究者常以弱化该领域成功的方式来框定和讨论研究结果,通常是对该领域广泛炒作的回应。尽管出于好意,但这已导致许多关于我们最佳技术局限性的误导或错误论断。这是一个问题,且可能比看上去更严重:它以损害我们可信度的方式,使得缓解当下危害(如涉及内容审核或简历筛选的偏见系统)更为困难。它也限制了我们为更遥远未来进展潜在巨大影响做准备的能力。本文敦促研究者谨慎对待这些论断,并提出了一些研究方向和沟通策略,以便更容易避免或反驳它们。
引用
@article{arxiv.2110.08300,
title = {The Dangers of Underclaiming: Reasons for Caution When Reporting How NLP Systems Fail},
author = {Samuel R. Bowman},
journal= {arXiv preprint arXiv:2110.08300},
year = {2022}
}
备注
Proceedings of ACL 2022