CaMeL 的操作化：强化 LLM 防御以用于企业部署
密码学与安全
2025-05-30 v1 人工智能
摘要
CaMeL（Capabilities for Machine Learning）引入了一个基于能力的沙箱，以缓解大型语言模型（LLM）智能体中的提示注入攻击。尽管有效，但 CaMeL 假设存在受信任的用户提示，忽略了侧信道问题，并因其双 LLM 设计而产生性能权衡。本回应指出了这些问题，并提出了工程改进，以扩大 CaMeL 的威胁覆盖范围并提高其操作可用性。我们引入：（1）用于初始输入的提示筛查；（2）用于检测指令泄漏的输出审计；（3）用于平衡可用性和控制的分级风险访问模型；以及（4）用于形式化保证的已验证中间语言。这些升级共同使 CaMeL 与企业安全最佳实践保持一致，并支持可扩展部署。
引用
@article{arxiv.2505.22852,
title = {Operationalizing CaMeL: Strengthening LLM Defenses for Enterprise Deployment},
author = {Krti Tallam and Emma Miller},
journal= {arXiv preprint arXiv:2505.22852},
year = {2025}
}