ALCHEmist：自动标注比 LLM 数据标注者便宜 500 倍
计算与语言
2025-02-04 v2 人工智能
机器学习
摘要
大型预训练模型可作为标注者，帮助取代或补充众包工作者，实现将通用模型蒸馏为小型专家模型的能力。然而，这种做法成本高昂：使用顶级模型通常需要数千美元的 API 费用，而且产生的数据是静态的且难以审计。为此，我们提出一种简单替代方案：不直接查询预训练模型的标签，而是让模型生成产生标签的程序。这些程序可存储并在本地应用，可重复使用和扩展，成本降低数百倍。我们的系统 Alchemist 在多项任务中获得了与大型语言模型基于标签的标注相当或更好的性能：平均提升 12.9%，而所有数据集的总标注成本降低约 500 倍。
引用
@article{arxiv.2407.11004,
title = {The ALCHEmist: Automated Labeling 500x CHEaper Than LLM Data Annotators},
author = {Tzu-Heng Huang and Catherine Cao and Vaishnavi Bhargava and Frederic Sala},
journal= {arXiv preprint arXiv:2407.11004},
year = {2025}
}
备注
NeurIPS 2024 Spotlight Paper