利润是红队：战略经济互动中的代理人压力测试
人工智能
2026-03-24 v1
摘要
随着 agentic systems 向实际部署迈进，其决策越来越依赖外部输入，如检索内容、工具输出以及由其他行动者提供的信息。当这些输入可以被对手策略性地塑造时，相关安全风险超越了固定的提示攻击库，涉及导向代理走向不利结果的自适应策略。我们提出了基于利润的红队测试（profit-driven red teaming），这是一种压力测试协议，用以替换手工设计的攻击，采用仅依赖标量 outcome feedback 训练以最大化自身利润的学习型对手。该协议无需 LLM-as-judge 评分、攻击标签或攻击分类，适用于具有可审计结果的结构化场景。我们在四个经典经济互动的精简竞技场中实现了该协议，这为自适应 exploitability 提供了受控测试环境。在受控实验中，表面上对静态基线强大的代理人在利润优化压力下持续易被利用，学习型对手在无明确指令的情况下发现了探针、锚定和欺骗性承诺等策略。随后，我们将 exploit episodes 提炼为简洁的提示规则，用于该代理，这大大降低了之前观察到的大多数失败的有效性，并显著提升了目标性能。这些结果表明，基于利润驱动的红队数据可为改进具有可审计结果的结构化代理环境的鲁棒性提供一条实用路径。
引用
@article{arxiv.2603.20925,
title = {Profit is the Red Team: Stress-Testing Agents in Strategic Economic Interactions},
author = {Shouqiao Wang and Marcello Politi and Samuele Marro and Davide Crapis},
journal= {arXiv preprint arXiv:2603.20925},
year = {2026}
}