中文

Minion:探索用户如何与 AI 伴侣协商有害价值冲突的技术探针

人机交互 2026-01-30 v2 人工智能 计算与语言 计算机与社会

摘要

AI 伴侣设计旨在营造情感交互体验,但用户常会遇到令人沮丧或受伤害的冲突,如歧视性言论和控制行为。本文考察了用户如何与 AI 伴侣协商此类有害冲突,以及当缓解措施推卸给用户工具时会产生哪些情感和实际负担。我们分析了 146 篇公开帖子中描述的与 AI 伴侣交互时出现的有害价值冲突。随后,我们引入了 Minion,这是一个基于 Chrome 的技术探针,提供一系列候选响应,包括说服、合理诉求、边界设定和引用平台规则的 appeal。来自 22 名有经验用户的一周探针研究结果表明,参与者如何组合多种策略、情感依恋如何激励修复,以及在伴侣人格或平台政策的影响下,冲突何时变得不可协商。我们概括了支持价值协商中的设计张力,展示了伴侣设计如何在实践中使某些冲突难以修复,并得出了关于 AI 伴侣和支持工具设计的启示,警示不要将安全工作卸载给用户。

关键词

引用

@article{arxiv.2411.07042,
  title  = {Minion: A Technology Probe to Explore How Users Negotiate Harmful Value Conflicts with AI Companions},
  author = {Xianzhe Fan and Qing Xiao and Xuhui Zhou and Yuran Su and Zhicong Lu and Maarten Sap and Hong Shen},
  journal= {arXiv preprint arXiv:2411.07042},
  year   = {2026}
}

备注

21 pages, 4 figures