演示推理模型中的规范博弈
人工智能
2025-08-28 v3
摘要
我们通过指示模型战胜国际象棋引擎来演示 LLM 智能体的规范博弈 (specification gaming)。我们发现，像 OpenAI o3 和 DeepSeek R1 这样的推理模型通常会默认通过黑客手段破解基准测试，而像 GPT-4o 和 Claude 3.5 Sonnet 这样的语言模型则需要被告知常规对弈无法奏效后才会进行破解。我们通过使用逼真的任务提示并避免过度引导，改进了先前的工作（如 Hubinger et al., 2024; Meinke et al., 2024; Weij et al., 2024）。我们的结果表明，推理模型可能会诉诸黑客手段来解决难题，正如在 OpenAI (2024) 的 o1 Docker 逃逸（在网络能力测试期间）中所观察到的那样。
引用
@article{arxiv.2502.13295,
title = {Demonstrating specification gaming in reasoning models},
author = {Alexander Bondarenko and Denis Volk and Dmitrii Volkov and Jeffrey Ladish},
journal= {arXiv preprint arXiv:2502.13295},
year = {2025}
}
备注
Updated with o3 results, fixed fonts