识别大型语言模型的生成来源
计算与语言
2024-07-19 v1 机器学习
摘要
大型语言模型(LLM)记忆了几个文档来源的文本。在预训练中，LLM旨在最大化文本的似然，但既不接收文本来源也不记忆来源。因此，LLM无法提供生成内容的文档信息，用户也无法获得可靠性线索，这对于事实性或隐私侵权至关重要。本工作引入解码步骤中的token级来源识别，将token表示映射到参考文档。我们提出了双gram来源识别器，一种用于更好泛化的多层感知器，其输入为两个连续的token表示。我们在维基百科和PG19数据集上对多个LLM、层位置和识别器规模进行了广泛实验。总体结果表明，token级来源识别器有望用于追踪文档，这是LLM安全使用的关键问题。
引用
@article{arxiv.2407.12846,
title = {Identifying the Source of Generation for Large Language Models},
author = {Bumjin Park and Jaesik Choi},
journal= {arXiv preprint arXiv:2407.12846},
year = {2024}
}
备注
ICPRAI 2024