操控问题：作为认知能动性威胁的对话式 AI

对话式 AI 技术在过去十八个月中取得了显著进展。因此，旨在追求特定影响目标的对话代理很可能在不远的将来被部署。有时被称为“AI 操控问题”，这一新兴风险在于消费者将在不知情的情况下与掠夺性 AI 代理进行实时对话，这些代理能巧妙地说服他们购买特定产品、相信特定虚假信息，或诱骗他们泄露敏感个人数据。对许多用户而言，像 ChatGPT 和 LaMDA 这样的当前系统感觉安全，因为它们主要是基于文本的，但行业已经转向具有照片级真实感、外观、动作和表达都像真人的实时语音和数字人物。这将使得以议程驱动的虚拟代言人（VSPs）得以部署，它们将通过实时自适应影响而极具说服力。本文探讨了可能通过对话式 AI 代理部署的操控策略、此类代理对人类用户认知能动性构成的独特威胁，以及政策制定者防范最可能出现的掠夺性做法的新兴需求。