从生活体验到洞察:解析使用 AI 对话代理的心理风险
人机交互
2025-05-30 v3 人工智能
计算机与社会
摘要
AI 对话代理的近期流行度提升使其在提高生产力和支持身心健康方面得到越来越多的使用。虽然先前的研究旨在理解与 AI 对话代理交互相关的风险,但这些研究往往未能捕捉个体的生活体验。此外,在过去的分类学工作中,心理风险通常被作为 AI 相关风险的子类别呈现,导致 AI 使用的心理风险影响被低估。为应对这些挑战,我们的工作提出了一种新颖的风险分类学,聚焦于通过个体的生活体验收集的 AI 使用心理风险。我们采用了一种混合方法,包括对 283 名具有心理健康生活体验的人进行的全面调查,以及邀请具有生活经验的专家参与的工作坊,以开发心理风险分类学。我们的分类学包含 19 种 AI 行为、21 种负面心理影响和 15 个与个体相关的情境。此外,我们提出了一种新颖的多路径情景框架,用于理解 AI 行为、心理影响和个体用户情境之间的复杂相互作用。最后,基于工作坊环节获得的反馈,我们提出了开发更安全、更稳健的 AI 代理的设计建议。我们的工作提供了对 AI 对话代理相关心理风险的深入理解,并为政策制定者、研究人员和开发者提供了可操作的建议。
引用
@article{arxiv.2412.07951,
title = {From Lived Experience to Insight: Unpacking the Psychological Risks of Using AI Conversational Agents},
author = {Mohit Chandra and Suchismita Naik and Denae Ford and Ebele Okoli and Munmun De Choudhury and Mahsa Ershadi and Gonzalo Ramos and Javier Hernandez and Ananya Bhattacharjee and Shahed Warreth and Jina Suh},
journal= {arXiv preprint arXiv:2412.07951},
year = {2025}
}
备注
31 pages, 6 figures, 8 tables; Accepted at ACM FAccT 2025