使用日本报纸量化预训练语言模型的记忆并检测其训练数据
计算与语言
2024-08-16 v2
摘要
主流的预训练语言模型已经展现出了记忆并输出训练数据的潜在风险。虽然这一担忧主要在英语语境下被讨论，但关注特定领域的 PLM 同样具有重要的实际意义。在本研究中，我们使用有限的日本报纸文章语料库预训练了特定领域的 GPT-2 模型，并评估了其行为。实验复现了这一经验发现，即在日语中，PLM 的记忆与训练数据中的重复、模型大小和提示长度有关，这与以往英语研究的结果相同。此外，我们尝试了成员推理攻击，证明即使在日语中也能检测到训练数据，这与英语中的趋势相同。该研究警告说，有时使用有价值的私有数据训练的特定领域 PLM 可能会进行大规模的“复制和粘贴”。
引用
@article{arxiv.2404.17143,
title = {Quantifying Memorization and Detecting Training Data of Pre-trained Language Models using Japanese Newspaper},
author = {Shotaro Ishihara and Hiromu Takahashi},
journal= {arXiv preprint arXiv:2404.17143},
year = {2024}
}
备注
The 17th International Natural Language Generation Conference