合成数据审计：追踪下游应用中 LLM 生成合成数据的使用

大语言模型（LLM）促进了高质量、高性价比的合成数据的生成，用于开发下游模型和在各个领域进行统计分析。然而，对合成数据日益增长的依赖可能带来潜在的负面影响。大量研究表明，LLM 生成的合成数据可能延续甚至放大社会偏见和刻板印象，并产生偏离事实知识的错误输出，即所谓的“幻觉”。在本文中，我们旨在审计数据制品，例如分类器、生成器或统计图表，以识别那些在合成数据上训练或从合成数据导出的制品，并提高用户意识，从而减少下游应用中的意外后果和风险。为此，我们迈出了第一步，引入合成数据审计来评估给定制品是否源自 LLM 生成的合成数据。然后，我们提出了一个包含三种方法的审计框架，包括基于度量的审计、基于微调的审计和基于分类的审计。这些方法无需制品所有者披露专有的训练细节即可运行。我们在三个文本分类任务、两个文本摘要任务和两个数据可视化任务上，跨越三种训练场景评估了我们的审计框架。我们的评估证明了所有提出的审计方法在所有这些任务上的有效性。例如，黑盒基于度量的审计在三种场景下仅使用 200 次随机查询，对分类器审计的平均准确率可达 $0.868 \pm 0.071$，对生成器审计的平均准确率可达 $0.880 \pm 0.052$。我们希望我们的研究能够增强模型透明度和监管合规性，确保合成数据的道德和负责任使用。