面向当代 AI 模型的红队测试：来自西班牙语和巴斯克语视角的洞见
软件工程
2025-03-14 v1 计算与语言
摘要
AI 领导权的博弈正在进行，美国的 OpenAI 和中国的 DeepSeek 为关键竞争者。鉴于这些全球趋势，西班牙政府提出 ALIA，一个公开透明的 AI 基础设施，集成小型语言模型，支持西班牙语及其他官方语言如巴斯克语。本文呈现红队测试结果，十名参与者运用专业知识和创造力，对三款最新模型——OpenAI o3-mini、DeepSeek R1 和 ALIA Salamandra——进行手动测试，聚焦偏见和安全问题。基于 670 场对话，测试中所有模型都暴露了漏洞，其偏见或不安全响应比例分别为 o3-mini 的29.5%至 Salamandra 的50.6%。这些发现凸显了开发可靠可信 AI 系统的持久挑战，尤其是旨在支持西班牙语和巴斯克语的系统。
引用
@article{arxiv.2503.10192,
title = {Red Teaming Contemporary AI Models: Insights from Spanish and Basque Perspectives},
author = {Miguel Romero-Arjona and Pablo Valle and Juan C. Alonso and Ana B. Sánchez and Miriam Ugarte and Antonia Cazalilla and Vicente Cambrón and José A. Parejo and Aitor Arrieta and Sergio Segura},
journal= {arXiv preprint arXiv:2503.10192},
year = {2025}
}