EmoAgent：评估和保护人机交互中的心理健康安全
人工智能
2025-05-01 v3 计算与语言
计算机与社会
人机交互
机器学习
摘要
由LLM驱动的AI角色的兴起引发了安全问题，特别是对于患有心理障碍的脆弱人类用户。为了应对这些风险，我们提出了EmoAgent，这是一个多智能体AI框架，旨在评估和减轻人机交互中的心理健康危害。EmoAgent包含两个组件：EmoEval模拟虚拟用户，包括那些描绘心理脆弱个体的用户，以评估与AI角色交互前后的心理健康变化。它使用经过临床验证的心理和精神病学评估工具（PHQ-9、PDI、PANSS）来评估由LLM引发的心理风险。EmoGuard作为中介，监控用户的心理状态，预测潜在伤害，并提供纠正性反馈以减轻风险。在流行的基于角色的聊天机器人中进行的实验表明，情感投入的对话可能导致脆弱用户的心理恶化，在超过34.4%的模拟中出现了心理状态恶化。EmoGuard显著降低了这些恶化率，强调了其在确保更安全的人机交互中的作用。我们的代码可在https://github.com/1akaman/EmoAgent获取。
引用
@article{arxiv.2504.09689,
title = {EmoAgent: Assessing and Safeguarding Human-AI Interaction for Mental Health Safety},
author = {Jiahao Qiu and Yinghui He and Xinzhe Juan and Yimin Wang and Yuhan Liu and Zixin Yao and Yue Wu and Xun Jiang and Ling Yang and Mengdi Wang},
journal= {arXiv preprint arXiv:2504.09689},
year = {2025}
}
备注
18 pages, 8 figures