高效标注可靠性评估工具 EffiARA
计算与语言
2025-06-04 v3 机器学习
摘要
数据标注是机器学习管道的关键组成部分，也是成本高昂且耗时的环节。随着基于转换器的模型的出现，面向文档级别的标注正日益流行；然而，目前尚无标准框架用于构建此类任务。EffiARA 标注框架据称是首个支持完整标注管道的项目，涵盖从理解标注任务所需资源到编译标注数据集以及洞察单个标注者及整个数据集可靠性的全部环节。该框架的效能得到两个先前研究的支持：一个通过基于标注者可靠性的软标签聚合和样本加权提高分类性能，另一个通过移除识别项并替换不可靠标注者来提高整体一致性。本文介绍了 EffiARA Python 软件包及其附属的 Web 工具，后者为系统提供了易于使用的图形用户界面。我们在 https://github.com/MiniEggz/EffiARA 开源 EffiARA Python 软件包，Web 工具可在 https://effiara.gate.ac.uk 公开访问。
引用
@article{arxiv.2504.00589,
title = {Efficient Annotator Reliability Assessment with EffiARA},
author = {Owen Cook and Jake Vasilakes and Ian Roberts and Xingyi Song},
journal= {arXiv preprint arXiv:2504.00589},
year = {2025}
}