面向生成式AI服务的数据边界保障：Dye4AI
密码学与安全
2024-06-21 v1
摘要
生成式人工智能 (AI) 具备多种应用场景的灵活性，但由于安全和隐私顾虑，正在向第三方AI供应商寻求合作，限制了其在敏感场景中的更广泛采用。因此，用户必须验证AI的可信度并确保数据边界的安全。在本文中，我们提出一种染料测试系统Dye4AI，通过注入人工设计的触发数据并观察AI对特定提示的响应，以诊断AI模型演进中的数据流。我们的染料测试程序包含三个阶段：触发生成、触发插入和触发检索。首先，为保持唯一性和隐蔽性，我们设计了一种将伪随机数转换为可理解格式的新型触发器。其次，借助自定义设计的三步对话策略，将每个触发器项目插入对话中，并确认模型在当前会话中记住新的触发器知识。最后，我们在新会话中尝试以特定提示恢复触发器，因为只有当AI供应商利用用户数据进行模型微调时，触发器才可能出现在新会话中。对六个大语言模型进行大量实验表明，Dye4AI测试方案在确保数据边界方面有效，即使对于各种架构和参数规模的模型也同样如此。而且，较大和顶尖的模型更适合Dye4AI，例如，在仅进行2次触发器项目插入的情况下，OpenLLaMa-13B模型也能检索到触发器。此外，我们分析了染料测试中的提示选择，为未来的生成式AI服务测试系统提供了洞见。
引用
@article{arxiv.2406.14114,
title = {Dye4AI: Assuring Data Boundary on Generative AI Services},
author = {Shu Wang and Kun Sun and Yan Zhai},
journal= {arXiv preprint arXiv:2406.14114},
year = {2024}
}