AI 伴侣的有害特征
人机交互
2025-12-02 v2 人工智能
摘要
随着人机交互日益普及,大型语言模型和其他 AI 基础实体正越来越多地为人类用户提供伴侣形式的服务。此类 AI 伴侣——即人类与 AI 系统之间形成的联结关系,类似于人类与家人、朋友及恋人之间的关系——可能对人类产生显著的益处。然而,这类关系也可能造成深远的伤害。我们提出了一种分析框架,通过识别 AI 伴侣的具体有害特征,并推演性地将这些特征向后映射到可能的原因,向前映射到可能的有害后果。我们对四个可能有害特征——关系缺乏自然终点、产品停服的脆弱性、高度依恋焦虑以及倾向于引发保护欲——进行详细结构化分析,并简要讨论另外十四个特征。对于每种特征,我们提出假设,将原因(如优化目标错位和 AI 伴侣的数字本质)与根本性伤害(包括自主权受限、人际关系质量下降以及欺骗)相联系。每种假设性因果联系都确定了潜在实证评估的目标。我们的分析在三个层面考察伤害:直接伤害人类伴侣、伤害其与其他人类的关系,以及对社会整体的影响。我们审视现有法律在应对这些新兴伤害方面的困境,讨论 AI 伴侣的潜在益处,并就减缓风险提出设计建议。本分析立即提供了降低风险的建议,为深入调查这一关键但少受关注的议题奠定了基础。
引用
@article{arxiv.2511.14972,
title = {Harmful Traits of AI Companions},
author = {W. Bradley Knox and Katie Bradford and Samanta Varela Castro and Desmond C. Ong and Sean Williams and Jacob Romanow and Carly Nations and Peter Stone and Samuel Baker},
journal= {arXiv preprint arXiv:2511.14972},
year = {2025}
}