超越传统边界：利用标注者间一致性（IAA）增强数据管理操作（DMOps）
计算与语言
2023-06-27 v1 人工智能
摘要
本文提出了一种利用标注者间一致性（IAA）——传统上用于评估标注一致性——来优化数据管理操作（DMOps）的新方法。我们主张使用 IAA 预测个体标注者的标注质量，从而在数据生产中实现成本与时间效率。此外，我们的工作凸显了 IAA 在预测文档难度的潜力，从而提升数据构建过程的整体效率。本研究强调了 IAA 在数据驱动研究优化中更广阔的应用潜力，并对优先考虑效率、成本降低与高质量数据的大规模数据项目具有重要意义。
引用
@article{arxiv.2306.14374,
title = {Transcending Traditional Boundaries: Leveraging Inter-Annotator Agreement (IAA) for Enhancing Data Management Operations (DMOps)},
author = {Damrin Kim and NamHyeok Kim and Chanjun Park and Harksoo Kim},
journal= {arXiv preprint arXiv:2306.14374},
year = {2023}
}
备注
Accepted for Data-centric Machine Learning Research (DMLR) Workshop at ICML 2023