ACCESS DENIED INC：首个面向敏感度感知的基准环境
计算与语言
2025-08-12 v2
摘要
大型语言模型 (LLM) 因其能够处理各种文档格式的文本并通过自然语言查询促进用户交互，在企业数据管理中变得越来越有价值。然而，LLM 在与员工交流时必须考虑信息的敏感度，特别是考虑到访问限制。基于用户许可级别的简单过滤会带来性能和隐私两方面的挑战。为此，我们提出了敏感度感知 (SA) 的概念，使 LLM 能够遵守预定义的访问权限规则。此外，我们开发了一个名为 ACCESS DENIED INC 的基准环境来评估 SA。我们的实验结果显示模型行为存在显著差异，特别是在管理未授权数据请求的同时有效处理合法查询方面。这项工作为对敏感度感知的语言模型进行基准测试奠定了基础，并提供了增强企业环境中以隐私为中心的 AI 系统的见解。
引用
@article{arxiv.2506.00964,
title = {ACCESS DENIED INC: The First Benchmark Environment for Sensitivity Awareness},
author = {Dren Fazlija and Arkadij Orlov and Sandipan Sikdar},
journal= {arXiv preprint arXiv:2506.00964},
year = {2025}
}
备注
20 pages, 4 figures, 8 tables, ACL 2025 (Findings), Figure 3 was corrected and is now aligned with the values of Table 2, Project Page: https://drenfazlija.github.io/AccessDeniedInc/