从风险规避到用户赋能:AI 心理危机支持中的设计原则
计算机与社会
2026-03-19 v3 人机交互
摘要
经历心理危机的人常常寻求开放式生成式 AI(GenAI)聊天机器人支持。然而,一些 GenAI 聊天机器人设计为以最小化开发者责任的方式响应危机情境——主要通过回避(例如,拒绝超越模板化对危机热线的 referrals)来实现。在这些情况下,剥夺危机支持可能伤害缺乏可行替代方案的用户,并减少其寻求进一步帮助的动机。规模化地,这种回避式设计可能削弱人口心理健康。我们提出面向用户赋能的 AI 心理危机支持设计原则,依据社区帮助者模型进行设计。作为帮助寻求的初始接触点,AI 聊天机器人可作为支持性桥梁,以缓解危机并连接用户至更可靠的护理。AI 开发者与监管机构之间的协调可实现 AI 心理危机支持中风险缓解与用户赋能之间的更好平衡。
引用
@article{arxiv.2603.05647,
title = {From Risk Avoidance to User Empowerment in AI Mental Health Crisis Support},
author = {Benjamin Kaveladze and Arka Ghosh and Leah Ajmani and Denae Ford and Peter M Gutierrez and Jetta E Hanson and Eugenia Kim and Keertana Namuduri and Theresa Nguyen and Ebele Okoli and Teresa Rexin and Jessica L Schleider and Hongyi Shen and Jina Suh},
journal= {arXiv preprint arXiv:2603.05647},
year = {2026}
}