聊天机器人是否已准备好用于隐私敏感应用？对输入 regurgitation 与提示诱导净化的调查
计算与语言
2023-05-25 v1 人工智能
计算机与社会
摘要
由 LLM 驱动的聊天机器人正被广泛采用到医疗、个人助理、行业招聘决策等应用中。在许多此类场景中，聊天机器人会在提示中接收到敏感的个人信息，作为上下文学习的样本、从数据库检索的记录或对话的一部分。提示中提供的信息可能直接出现在输出中，若其中包含敏感信息，则可能引发隐私问题。因此，在本文中，我们旨在理解这些模型在推理过程中的输入复制与 regurgitation 能力，以及它们如何能基于自身对 HIPAA 和 GDPR 等法规的内部知识被直接指示以限制此种复制。更具体地，我们发现当 ChatGPT 被提示总结 100 名候选人的求职信时，会在 57.4% 的案例中逐字保留个人可识别信息（PII），并且我们发现这种保留在不同人群子组之间（基于性别认同等属性）是非均匀的。随后，我们通过直接指示 ChatGPT 提供合规输出来探查其对隐私相关策略与隐私化机制的认知，并观察到输出中 PII 的显著遗漏。
引用
@article{arxiv.2305.15008,
title = {Are Chatbots Ready for Privacy-Sensitive Applications? An Investigation into Input Regurgitation and Prompt-Induced Sanitization},
author = {Aman Priyanshu and Supriti Vijay and Ayush Kumar and Rakshit Naidu and Fatemehsadat Mireshghallah},
journal= {arXiv preprint arXiv:2305.15008},
year = {2023}
}
备注
12 pages, 9 figures, and 4 tables