H-COAL：用于生物医学命名实体识别的 AI 生成标签人工校正框架
计算与语言
2023-11-21 v1
摘要
随着用于 NLP 任务的机器学习模型的快速发展，从 AI 模型收集高保真标签已成为一种现实可能。如今，企业通过预测即服务（PaaS）向客户提供 AI。这包括面向医疗健康的 PaaS 产品。目前尚不清楚这些标签是否可以在无需内部专家进行昂贵标注核查的情况下用于训练本地模型。在本工作中，我们提出了一种用于 AI 生成标签人工校正（H-COAL）的新框架。通过对 AI 生成的输出进行排序，人们可以有选择地校正标签，并以显著更少的人力接近黄金标准性能（100% 人工标注）。我们表明，校正 5% 的标签可相对缩小高达 64% 的 AI 与人工性能差距，校正 20% 的标签可相对缩小高达 86% 的性能差距。
引用
@article{arxiv.2311.11981,
title = {H-COAL: Human Correction of AI-Generated Labels for Biomedical Named Entity Recognition},
author = {Xiaojing Duan and John P. Lalor},
journal= {arXiv preprint arXiv:2311.11981},
year = {2023}
}
备注
Presented at Conference on Information Systems and Technology (CIST) 2023