人工标注的质量与效率：预标注偏差
计算与语言
2023-06-16 v1
摘要
本文针对中等标注复杂度任务——依存句法标注，分析了使用自动预标注的标注过程。它比较了使用预标注版本（采用高精度解析器）的标注员与完全人工标注员所付出的标注努力。实验旨在判断使用预标注时的最终标注质量。此外，它评估了基于语言规则的自动检查（规则形式化）及标注员可用的对同一数据的另一次标注的影响，及其对标注质量与效率的作用。实验证实，预标注是一种高效的工具，可加速人工句法标注，并在不降低质量的前提下提升最终标注的一致性。
引用
@article{arxiv.2306.09307,
title = {Quality and Efficiency of Manual Annotation: Pre-annotation Bias},
author = {Marie Mikulová and Milan Straka and Jan Štěpánek and Barbora Štěpánková and Jan Hajič},
journal= {arXiv preprint arXiv:2306.09307},
year = {2023}
}
备注
Published in LREC 2022