通过对抗压缩的视角重新思考LLM记忆
机器学习
2024-11-13 v3 计算与语言
摘要
大型语言模型（LLM）在网页规模数据集上训练引发了对数据使用许可的实质性担忧。一个重要问题是这些模型是否“记忆”了所有训练数据，还是以更接近人类学习和综合信息的方式整合多个数据源。答案在很大程度上取决于我们如何定义记忆。本文提出对抗压缩比（ACR）作为评估LLM记忆的指标。如果训练数据中的给定字符串可以通过比字符串本身短得多的提示（prompt）引出，即这些字符串可以通过计算更少token的对抗提示被模型“压缩”，则认为该字符串被记忆。ACR克服了现有记忆概念的局限性：（i）提供了记忆的对抗性视角，特别适用于监控遗忘和合规性；（ii）允许以较低计算量灵活测量任意字符串的记忆。我们的定义可作为确定模型所有者何时可能违反数据使用条款的实用工具，为处理此类场景提供潜在的法律工具和批判性视角。
引用
@article{arxiv.2404.15146,
title = {Rethinking LLM Memorization through the Lens of Adversarial Compression},
author = {Avi Schwarzschild and Zhili Feng and Pratyush Maini and Zachary C. Lipton and J. Zico Kolter},
journal= {arXiv preprint arXiv:2404.15146},
year = {2024}
}
备注
https://locuslab.github.io/acr-memorization