Characterizing and modeling harms from interactions with design patterns in AI interfaces

人工智能 (AI) 系统正在被越来越多的应用程序所采用，用户通过复杂的界面与这些系统进行交互。人机交互研究长期表明，界面会塑造用户的行为及其对技术能力和风险的感知。然而，实践者和研究人员在评估 AI 系统的社会和伦理风险时，往往忽略了具有拟人化、欺骗性和沉浸式特征的界面对人机交互的影响。本文我们认为，具有自适应 AI 系统的界面设计特征会产生级联性影响，这些影响由反馈回路驱动，超出了此前所考虑的范围。我们首先对 AI 界面设计及其负面影响进行范围综述，从中提炼出 potentially 有害设计模式的关键主题。随后，我们提出了一种新的概念模型——Design-Enhanced Control of AI systems (DECAI)，用于结构化和促进 AI 界面设计的影响评估。DECAI 借助控制系统理论中的原理——该理论用于分析和设计动态物理系统——来剖析界面在人机系统中的作用。通过关于推荐系统和对话式语言模型系统的两个案例研究，我们展示了如何使用 DECAI 来评估 AI 界面设计。