LLM 的溯源与检测
计算与语言
2023-04-28 v1
摘要
大型语言模型 (LLMs) 的卓越性能使得检测文本是否由 AI 系统生成变得愈发重要。更重要的是，随着越来越多的公司和机构发布其 LLMs，其来源可能难以追溯。由于 LLMs 正迈向通用人工智能 (AGI) 时代，类似于人类学中的溯源，追溯 LLMs 的起源具有重要意义。在本文中，我们首先提出了 LLMs 溯源的关切，并提出了一种有效的方法来追溯和检测 AI 生成的文本。我们引入了一种新颖的算法，该算法利用 LLMs 之间的对比特征并提取模型级特征来追溯文本来源。我们提出的方法在白盒和黑盒设置下均有效，因此可以广泛泛化以检测各种 LLMs。（例如，可以在没有 GPT-3 模型的情况下泛化以检测 GPT-3 模型）。此外，与监督学习方法相比，我们提出的方法仅需有限的数据，并且可以扩展以追溯新出现的模型来源。我们构建了广泛的实验来检验是否可以追溯给定文本的来源。我们基于实验结果提供了有价值的观察，例如 AI 溯源的难度级别和 AI 源相似性，并呼吁 LLM 提供者关注伦理问题。我们将发布所有代码和数据作为工具包和基准，用于未来的 AI 溯源和检测研究。\footnote{我们将在 \url{https://github.com/OpenLMLab/} 发布所有可用资源。}
引用
@article{arxiv.2304.14072,
title = {Origin Tracing and Detecting of LLMs},
author = {Linyang Li and Pengyu Wang and Ke Ren and Tianxiang Sun and Xipeng Qiu},
journal= {arXiv preprint arXiv:2304.14072},
year = {2023}
}
备注
working in progress