将LLM生成的注释输入BERT分类器存在风险
计算与语言
2025-04-23 v1
摘要
使用LLM生成的标签来微调较小的编码器模型进行文本分类已在 various 场景中流行。虽然在简单和低风险应用中可能合理，但我们进行了实证分析，展示了在此特定设置中，训练合成数据的永久性诅咒如何显现。与使用金标签训练的模型相比，我们不仅观察到在准确率和F1分数上的预期性能下降，还发现训练过程跨运行的不稳定性增加以及性能提前出现平台期。这些发现对在实际应用中采用此类方法的可靠性提出了疑问。我们通过误差传播的视角阐释了观察到的现象，并提供了几项实用性缓解策略，包括基于熵的过滤和集成技术。尽管这些启发式方法提供了部分缓解，但无法完全解决从LLM注释中传递给较小分类器的非随机错误固有的风险，强调在应用此工作流程进行高风险文本分类任务时需要谨慎。
引用
@article{arxiv.2504.15432,
title = {Feeding LLM Annotations to BERT Classifiers at Your Own Risk},
author = {Yucheng Lu and Kazimier Smith},
journal= {arXiv preprint arXiv:2504.15432},
year = {2025}
}