管理稀有事件人工智能的人类标注操作中的认知偏差：来自场实验的证据
人机交互
2026-03-13 v1 综合经济学
经济学
摘要
许多运营中的人工智能系统依赖大规模的人类标注来检测稀有的但重要事件（例如欺诈、缺陷和医学异常）。当阳性样本稀少时，悖论效应会引发系统性认知偏差，导致漏检增加，并通过偏差训练标签在AI生命周期内传播。我们分析了先前的实验证据，并在医学众包平台DiagnosUs上进行了场实验，在该实验中我们固定未标记数据流中的真实悖论为20%（blast），同时变化（i）金标准反馈流中阳性悖论的比例（20% vs. 50%）和（ii）响应界面（二进制标签 vs. elicited概率）。我们随后在工人和群体水平上使用线性对数优势重新校准概率标签，并在所得标签上训练卷积神经网络。均衡反馈和概率触发显著减少稀有事件漏检，管道级重新校准在分类性能和概率校准方面显著提升；这些收益在CNN的下游可靠性中得以延续。
引用
@article{arxiv.2603.11511,
title = {Managing Cognitive Bias in Human Labeling Operations for Rare-Event AI: Evidence from a Field Experiment},
author = {Gunnar P. Epping and Andrew Caplin and Erik Duhaime and William R. Holmes and Daniel Martin and Jennifer S. Trueblood},
journal= {arXiv preprint arXiv:2603.11511},
year = {2026}
}