ARAIDA：基于类比推理的交互式数据标注方法
计算与语言
2024-06-04 v2 人机交互
摘要
人工标注是一项耗时且需要大量精力的工作。为此问题，交互式数据标注利用标注模型提供建议，供人类审核或纠正。然而，仅凭有限标注数据训练的标注模型容易生成错误建议，导致额外的人工纠正 effort。为解决这一挑战，我们提出了 Araida（类比推理增强的数据标注方法），通过类比推理提升交互式数据标注中的自动标注准确度，从而减少人工纠正需求。Araida 采用一种误差感知的集成策略，动态协调标注模型和 k 近邻 (KNN) 模型，当标注模型的预测被判定为不准时，更重视 KNN 模型的预测。实证研究表明，Araida 适用于不同标注任务和模型。在平均情况下，与纯粹的交互式数据标注方法相比，Araida 可减少 11.02%的人工纠正劳动力。
引用
@article{arxiv.2405.11912,
title = {ARAIDA: Analogical Reasoning-Augmented Interactive Data Annotation},
author = {Chen Huang and Yiping Jin and Ilija Ilievski and Wenqiang Lei and Jiancheng Lv},
journal= {arXiv preprint arXiv:2405.11912},
year = {2024}
}
备注
Accepted to ACL 2024. Camera Ready