AI 系统中自然语言用户请求的政策合规性
计算与语言
2026-03-03 v1
摘要
考虑一个组织，其用户向能够执行特定任务的 AI 系统发送自然语言请求。本文考虑确保此类用户请求符合由组织确定的多样化政策列表，以保证 AI 系统的安全可靠使用。我们提出，鉴于目前水平，首个由标注用户请求构成的基准，涵盖对政策合规性的多样化评估。该基准与技术部门的工业应用相关。随后我们利用该基准评估各种大语言模型 (LLM) 在不同解决方案方法下的政策合规性评估性能。我们分析了不同模型和解决方案方法在性能指标上的差异，凸显了本问题的具有挑战性的特性。
引用
@article{arxiv.2603.00369,
title = {Policy Compliance of User Requests in Natural Language for AI Systems},
author = {Pedro Cisneros-Velarde},
journal= {arXiv preprint arXiv:2603.00369},
year = {2026}
}