数据洗涤：通过知识蒸馏人为提升基准结果
计算与语言
2025-06-05 v2 人工智能
摘要
本文展示了知识蒸馏可被滥用以操控语言模型基准分数，揭示了当前评估实践中的关键漏洞。我们提出“数据洗涤”，即通过看似合法的中间训练步骤进行隐式基准特定知识转移的过程。通过针对2层BERT学生模型开展大量实验，我们展示了该方法可实现在GPQA等基准测试上达到最高75%的准确率提升，而无需发展真正的推理能力。值得注意的是，这种方法可能被故意或无意利用，因为研究人员可能不慎采用此方法而无意中 inflate 分数。尽管我们的发现表明该技术的有效性，但我们将其呈现为警示故事，凸显迫切需要在AI评估方法方面构建更健壮性的紧迫需求。本工作旨在为AI开发中评估完整性的持续讨论贡献力量，以及需要更准确反映模型真实能力的基准测试。代码已公开于https://github.com/mbzuai-nlp/data_laundering。
引用
@article{arxiv.2412.15255,
title = {Data Laundering: Artificially Boosting Benchmark Results through Knowledge Distillation},
author = {Jonibek Mansurov and Akhmed Sakip and Alham Fikri Aji},
journal= {arXiv preprint arXiv:2412.15255},
year = {2025}
}
备注
14 pages