AI的致命弱点：高风险模型的风险感知训练数据的基础
机器学习
2025-05-22 v1 人工智能
摘要
AI 系统在诸如国防、情报和灾害响应等高风险领域必须检测罕见的高影响事件，同时在资源受限的情况下运行。传统标注策略侧重标注量而非信息价值，导致冗余和噪声，限制模型的泛化能力。本文引入了 smart-sizing 训练数据策略，强调标签多样性、模型引导选择和边际效用基于停止。我们通过 Adaptive Label Optimization（ALO）实现，结合预标注分流、标注者不一致性分析和迭代反馈，以优先处理能显著提升模型性能的标签。实验表明，基于 20%至 40% 精选数据的模型可匹配甚至超越完整数据基准，尤其在罕见类别召回和边缘案例泛化方面。我们还展示了嵌入训练和验证集中的潜在标注错误如何扭曲评估，凸显了嵌入式审计工具和以绩效为导向的治理的必要性。Smart-sizing 将标注重新框架定为与任务结果一致的反馈驱动过程，使更少的标签即可构建更稳健的模型，支持面向前沿模型和操作系统的高效 AI 开发管道。
引用
@article{arxiv.2505.14964,
title = {The Achilles Heel of AI: Fundamentals of Risk-Aware Training Data for High-Consequence Models},
author = {Dave Cook and Tim Klawa},
journal= {arXiv preprint arXiv:2505.14964},
year = {2025}
}