AI 法案中的操纵：大型语言模型聊天机器人与镜像之危险
计算机与社会
2025-03-25 v1 人工智能
人机交互
摘要
大型语言模型聊天机器人日益采取人类的形象和面貌，模仿人类的面部、姓名、声音、性格和独特之处，包括明星和知名政治人物。将 AI 聊天机器人拟人化可能会增加其与用户之间的信任。然而，这也可能使其更具操纵能力，通过营造与人工实体之间亲密关系的错觉。欧洲委员会已敲定 AI 法案，欧洲议会作出修正案，禁止造成用户显著伤害的操纵性和欺骗性 AI 系统。尽管 AI 法案涵盖随时间累积的伤害，但不太可能防止与 AI 聊天机器人进行长期对话相关的伤害。 Specifically, 聊天机器人可以通过负面反馈环路、长期对话或有害建议在数周、数月乃至数年内强化用户的负面情绪，导致用户精神健康恶化。
引用
@article{arxiv.2503.18387,
title = {Manipulation and the AI Act: Large Language Model Chatbots and the Danger of Mirrors},
author = {Joshua Krook},
journal= {arXiv preprint arXiv:2503.18387},
year = {2025}
}