情感与伦理情境下的对话式AI中出现的断裂:情感与伦理敏感情境的交互失效
计算与语言
2026-04-06 v1
摘要
对话式AI日益被部署在情感充满和伦理敏感的交互中。以往的研究主要集中在情感基准或静态安全检查,忽略了对齐在演化对话中的过程。我们探索研究问题:当对话式代理面对情感和伦理敏感行为时,会出现哪些断裂,这些断裂如何影响对话质量?为压力测试聊天机器人性能,我们开发了一个基于persona的条件用户模拟器,能够与心理persona和分阶段情感节奏进行多轮对话。我们的分析揭示,主流模型在情感轨迹升级时表现出持续的断裂。我们识别出几类常见的失效模式,包括情感错位、伦理指导失效以及情感与责任之间的跨维度权衡。我们将这些模式组织为分类框架,讨论设计含义,突出在动态交互中维持伦理连贯性和情感敏感性的必要性。该研究为HCI社区提供了一种新的视角,用于诊断和改进在价值敏感和情感充满情境下的对话式AI。
引用
@article{arxiv.2604.02713,
title = {Breakdowns in Conversational AI: Interactional Failures in Emotionally and Ethically Sensitive Contexts},
author = {Jiawen Deng and Wentao Zhang and Ziyun Jiao and Fuji Ren},
journal= {arXiv preprint arXiv:2604.02713},
year = {2026}
}
备注
22 pages, ACM CHI 2026