亚马逊 Nova AI 挑战 -- 可信 AI：推动安全、AI 辅助软件开发
人工智能
2025-08-15 v1 计算与语言
摘要
AI 系统在软件开发领域迅速崛起，但确保其安全性仍面临诸多挑战。为此，亚马逊启动了亚马逊 Nova AI 挑战的可信 AI 轨道，这是一项面向 10 支高校团队的全球竞赛，旨在推动安全 AI 的发展。在本次挑战中，五支团队致力于开发自动化红队作战机器人，而另外五支团队则创建安全的 AI 助手。该挑战为团队提供了独特的平台，通过头对头对抗性锦标赛来评估自动化红队作战和安全对齐方法，其中红队与竞争性 AI 编码助手进行多轮对话，以测试其安全对齐。同时，挑战还为团队提供了高质量标注数据，以 fuel 迭代式改进。整个挑战期间，团队开发了前沿技术，提出了在推理-based 安全对齐、鲁棒模型警戒线、多轮越狱和高效探测大型语言模型 (LLM) 方面的新颖方法。为支持这些努力，亚马逊 Nova AI 挑战团队进行了大量科学和工程投入，包括从零构建一个针对挑战的自定义基线编码专家模型、开发锦标赛编排服务、创建评估工具套件。本文概述了高校团队和亚马逊 Nova AI 挑战团队在解决 AI 软件开发安全挑战方面取得的进展，凸显了这一协作性 effort 以提升 AI 安全的努力。
引用
@article{arxiv.2508.10108,
title = {Amazon Nova AI Challenge -- Trusted AI: Advancing secure, AI-assisted software development},
author = {Sattvik Sahai and Prasoon Goyal and Michael Johnston and Anna Gottardi and Yao Lu and Lucy Hu and Luke Dai and Shaohua Liu and Samyuth Sagi and Hangjie Shi and Desheng Zhang and Lavina Vaz and Leslie Ball and Maureen Murray and Rahul Gupta and Shankar Ananthakrishna},
journal= {arXiv preprint arXiv:2508.10108},
year = {2025}
}
备注
18 pages, 1st Proceedings of Amazon Nova AI Challenge (Trusted AI 2025)