真实场景下的标注者间一致性：揭示其新兴角色与现实考量
计算与语言
2023-06-27 v1 人工智能
摘要
标注者间一致性（IAA）在自然语言处理任务中通常被用作标签一致性的度量。然而，在真实世界场景中，IAA 具有超出其传统用法的多种角色与含义。在本文中，我们不仅将 IAA 视为一致性的度量，也将其视为可在实际工程中有效使用的通用工具。此外，我们讨论了应用 IAA 时的各种考量与潜在问题，并提出了有效应对这些挑战的策略。
引用
@article{arxiv.2306.14373,
title = {Inter-Annotator Agreement in the Wild: Uncovering Its Emerging Roles and Considerations in Real-World Scenarios},
author = {NamHyeok Kim and Chanjun Park},
journal= {arXiv preprint arXiv:2306.14373},
year = {2023}
}
备注
Accepted for Data-centric Machine Learning Research (DMLR) Workshop at ICML 2023