PrivaCI-Bench：基于语境完整性与法律合规性的隐私评估

生成式大语言模型 (LLM) 的最新进展使其获得了更广泛的适用性、可访问性和灵活性。然而，其可靠性和可信度仍存疑虑，尤其是在涉及个人数据隐私方面。人们在隐私方面做出了巨大努力，构建了各种评估基准，从 LLM 的生成输出到其隐藏表示来研究其隐私意识和鲁棒性。遗憾的是，这些工作大多采用狭隘的隐私定义，仅调查个人身份信息 (PII)。在本文中，我们遵循语境完整性 (CI) 理论的精髓，该理论认为隐私评估不仅应涵盖传输的属性，还应通过隐私信息流涵盖整个相关社会语境。我们提出了 PrivaCI-Bench，这是一个针对法律合规性的综合语境隐私评估基准，涵盖标注完善的隐私和安全法规、真实法庭案例、隐私政策以及使用官方工具包构建的合成数据，以研究 LLM 的隐私和安全合规性。我们评估了最新的 LLM，包括近期的推理模型 QwQ-32B 和 Deepseek R1。我们的实验结果表明，尽管 LLM 能够有效捕获给定语境中的关键 CI 参数，但它们在隐私合规性方面仍需进一步改进。