量化大语言模型的关联能力及其对隐私泄露的影响

大语言模型（LLMs）的发展带来了各类应用上的显著改进，同时也引发了关于潜在私有数据暴露的担忧。LLMs的一项显著能力是其将不同信息片段建立关联的能力，但当涉及个人可识别信息（PII）时，这引发了担忧。本文深入探究语言模型的关联能力，旨在揭示影响其信息关联熟练度的因素。我们的研究表明，随着模型规模扩大，其关联实体/信息的能力增强，特别是当目标对展现出更短的共现距离或更高的共现频率时。然而，在关联常识性知识与PII之间存在明显的性能差距，后者准确率较低。尽管准确预测的PII比例相对较小，LLMs在给定适当提示时仍展现出预测特定电子邮件地址和电话号码实例的能力。这些发现凸显了LLMs不断演进的能力——尤其在其规模与能力持续扩张之际——对PII机密性构成的潜在风险。