用于个人属性推断的合成数据集
机器学习
2024-11-05 v2 人工智能
计算与语言
摘要
最近，强大的大语言模型（LLM）已变得易于全球数亿用户访问。然而，其强大的能力和广泛的世界知识并非没有相关的隐私风险。在这项工作中，我们关注 LLM 带来的新兴隐私威胁——从在线文本中准确推断个人信息的能力。尽管基于 LLM 的作者画像研究日益重要，但由于缺乏合适的公共数据集（主要是由于真实个人数据相关的伦理和隐私问题），该领域的研究一直受到阻碍。我们采取两个步骤来解决这个问题：(i) 我们使用以合成个人资料为种子的 LLM 智能体，为流行的社交媒体平台 Reddit 构建了一个模拟框架；(ii) 使用该框架，我们生成了 SynthPAI，这是一个多样化的合成数据集，包含超过 7800 条手动标注了个人属性的评论。我们通过一项人类研究验证了我们的数据集，该研究表明，在区分我们的合成评论和真实评论的任务中，人类的表现仅略优于随机猜测。此外，我们通过展示在 18 个最先进的 LLM 上，我们的合成评论使我们能够得出与真实世界数据相同的结论，验证了我们的数据集能够支持有意义的个人属性推断研究。综合来看，我们的实验结果、数据集和流程为未来旨在理解和减轻 LLM 带来的基于推断的隐私威胁的隐私保护研究奠定了坚实的基础。
引用
@article{arxiv.2406.07217,
title = {A Synthetic Dataset for Personal Attribute Inference},
author = {Hanna Yukhymenko and Robin Staab and Mark Vero and Martin Vechev},
journal= {arXiv preprint arXiv:2406.07217},
year = {2024}
}