黑盒LLM的数据污染校准
机器学习
2024-06-04 v2
摘要
大型语言模型（LLM）的快速发展与训练数据的规模扩大密切相关。然而，未经检查的超大规模训练集引入了诸多潜在风险，如数据污染，即基准数据被用于训练。在本工作中，我们提出了一种全面的方法，称为Polarized Augment Calibration（PAC），并配合一个即将发布的新数据集，用于检测受污染的数据并消除污染效应。PAC将流行的MIA（Membership Inference Attack）——来自机器学习社区——扩展为更全局的目标，以检测训练数据以澄清不可见的训练数据。作为首个工作，PAC具有即插即用的特性，能够与大多数（如果不是全部）当前的白盒和黑盒LLM集成。通过大量实验，PAC在4种数据集格式上实现的数据污染检测优于现有方法至少提升4.5%，并在10多个基础LLM上进行验证。此外，我们在现实场景中的应用凸显了污染及相关问题的显著存在。
引用
@article{arxiv.2405.11930,
title = {Data Contamination Calibration for Black-box LLMs},
author = {Wentao Ye and Jiaqi Hu and Liyao Li and Haobo Wang and Gang Chen and Junbo Zhao},
journal= {arXiv preprint arXiv:2405.11930},
year = {2024}
}