理解和消除生成式 AI 在金融服务中的风险

负责任地开发生成式 AI (GenAI) 产品，关键在于定义可接受输入和输出的范围。何为“安全”响应是正在积极讨论的问题。学术界过度聚焦于就通用性方面（如有害性、偏见和公平性）对模型进行评估，尤其是面向广大受众的对话式应用。相比之下，针对专业领域的社会技术系统关注不足。然而，这些专业系统可能面临广泛且既定的法律和监管审查。这些产品特定的考量需要纳入行业特定的法律、法规和公司治理要求。本文旨在突出金融服务领域的人工智能内容安全考量，并概述相关的 AI 内容风险分类学。我们将该分类学与该领域现有工作进行比较，讨论风险类别违规对各方影响。我们评估了现有开源技术警戒解决方案如何覆盖该分类学，通过评估红队活动收集的数据得出结论。我们的结果表明，这些警戒措施未能检测到我们讨论的大多数内容风险。