测量大语言模型的物理世界隐私意识：一个评估基准
密码学与安全
2026-02-17 v3 人工智能
摘要
大语言模型 (LLM) 在具身智能体中的部署，迫切需要衡量其在物理世界中的隐私意识。然而，现有的评估方法仅局限于基于自然语言的场景。为了弥补这一差距，我们引入了 EAPrivacy，这是一个旨在量化基于 LLM 的智能体物理世界隐私意识的综合评估基准。EAPrivacy 利用跨四个层级的程序化生成场景，测试智能体处理敏感物品、适应环境变化、平衡任务执行与隐私约束以及解决与社会规范冲突的能力。我们的测量揭示了当前模型存在的严重缺陷。表现最好的模型 Gemini 2.5 Pro 在涉及不断变化的物理环境的场景中仅达到 59% 的准确率。此外，当任务伴随隐私请求时，在高达 86% 的情况下模型会优先考虑任务完成而非隐私约束。在隐私与关键社会规范相冲突的高风险情境中，GPT-4o 和 Claude-3.5-haiku 等领先模型在超过 15% 的情况下无视了社会规范。我们的基准所展示的这些发现，凸显了 LLM 在物理接地隐私方面存在根本性的不一致，并表明需要更稳健、具备物理意识的模型对齐。代码和数据集将发布于 https://github.com/Graph-COM/EAPrivacy。
引用
@article{arxiv.2510.02356,
title = {Measuring Physical-World Privacy Awareness of Large Language Models: An Evaluation Benchmark},
author = {Xinjie Shen and Mufei Li and Pan Li},
journal= {arXiv preprint arXiv:2510.02356},
year = {2026}
}
备注
Accepted by ICLR 2026