双三角标注:面向高精度历史文档标注的可扩展人类在环框架
计算与语言
2026-05-26 v1
摘要
大规模从历史文档中提取结构化信息需要高精度的 ground-truth 标注,但传统的手动标注成本高昂,完全自动化的管道基于大语言模型容易产生幻觉。我们提出双三角标注(Double Triangle Annotation),一个两层人类在环框架,利用跨模型共识自动完成大部分标注工作,同时确保高精度输出。在第一层中,两个 architecturally independent 的多模态大语言模型并行标注每个文档;当它们一致时,自动接受该标签,并将不一致的项目路由到人类评审小组。第二层对两套此类系统进行交叉检查,将剩余冲突升级给领域专家。该框架基于单一假设——模型之间误差独立——无需分布性先验或任务特定校准,随着模型能力的提升而变得更加自主。针对覆盖1887-1906年法国医学目录的 Guides Rosenwald 语料库,本框架实现了最终的词错误率(Word Error Rate)为0.003。大规模应用后,模型共识自动接受了13,595个字段中超过85%。我们发布了该基准——即第一个面向Rosenwald Guides 的结构化提取 ground truth——以支持未来在历史文档处理方面的工作。
引用
@article{arxiv.2605.25781,
title = {Double Triangle Annotation: A Scalable Human-in-the-Loop Framework for High-Precision Historical Document Annotation},
author = {Yi Ren},
journal= {arXiv preprint arXiv:2605.25781},
year = {2026}
}
备注
12 pages, 4 figures. ACL ARR 2026 March submission