冲动用户混淆 AI 代理人：用于测试代理人的高保真人类特征模拟

尽管在构建对话式 AI 代理人方面取得了快速进展，但鲁棒性仍大体未被测试。用户行为的细微变化，如更加冲动、不连贯或怀疑，可能导致代理人性能急剧下降，揭示了当前 AI 代理人脆弱性。今天的基准测试未能捕捉这种脆弱性：代理人可能在标准评估下表现良好，但在更真实和多样化的环境中性能骤降。我们通过引入 TraitBasis 来弥补这种鲁棒性测试空白。TraitBasis 是一种轻量级、模型无关的方法，用于系统性地对 AI 代理人进行压力测试。TraitBasis 学习在激活空间中对应可驾驭用户特征（如冲动或不连贯）的方向，这些特征可以被控制、缩放、组合，并在推理阶段无需微调或额外数据的情况下应用于。使用 TraitBasis，我们将 $\tau$-Bench 扩展为 $\tau$-Trait，其中用户行为通过受控特征向量改变。我们在 $\tau$-Trait 上的平均性能下降幅度为 2%~30%，凸显当前 AI 代理人对用户行为变化缺乏鲁棒性。总体而言，这些结果凸显了鲁棒性测试的关键作用，并彰显了 TraitBasis 作为一种简单、数据高效且可组合工具的前景。通过赋能仿真驱动的压力测试和训练循环，TraitBasis 为构建在真实世界人类互动中保持可靠性的 AI 代理人打开了可能性。我们已开源 $\tau$-Trait，覆盖航空、零售、电信和telehealth 四个领域，供社区在真实、行为多样的意图和特征情景下系统性地进行质量检测：https://github.com/collinear-ai/tau-trait。