PhySE：面向实时 AR-LLM 社交工程攻击的心理学框架
人工智能
2026-04-28 v1
摘要
基于 AR-LLM 的社交工程（AR-LLM-SE）攻击（例如 SEAR）正成为面向现实社交互动的重大风险。在此类攻击中，恶意行为者使用增强现实（AR）眼镜捕获目标的视觉和语音数据。大型语言模型（LLM）随后分析此数据以识别个体并生成详细的社交轮廓。随后，LLM-powered 智能体采用社交工程策略，提供实时对话建议，以获取目标信任并最终执行钓鱼或其他恶意行为。尽管存在潜力，但 AR-LLM-SE 的实际应用面临两个主要瓶颈：（1）冷启动个性化，当前检索增强生成（RAG）方法在最初几轮对话中引入关键延迟，减慢初始轮廓形成并扰乱实时交互；（2）静态攻击策略，现有方法依赖固定阶段、手工制作的社交工程战术，缺乏建立在已知心理学理论基础之上的支撑。为解决这些限制，我们提出PhySE，一个具有两个核心创新的框架：（1）基于视觉语言模型的社交情境训练，消除轮廓形成延迟，我们高效地预训练视觉语言模型（VLM），使其能够实现快速的、即时的轮廓生成；（2）自适应心理学智能体，我们引入一种心理学 LLM，动态部署基于目标响应的不同类别的心理策略，超越静态、手工制作的脚本。我们通过IRB批准的用户研究评估了PhySE，收集了60名参与者在多样化社交情境下的360段带注释对话的新型数据集。
引用
@article{arxiv.2604.23148,
title = {PhySE: A Psychological Framework for Real-Time AR-LLM Social Engineering Attacks},
author = {Tianlong Yu and Yang Yang and Ziyi Zhou and Jiaying Xu and Siwei Li and Tong Guan and Kailong Wang and Ting Bi},
journal= {arXiv preprint arXiv:2604.23148},
year = {2026}
}