PredictionMarketBench：面向预测市场交易智能体的 SWE-bench 风格回测框架

预测市场提供了自然的交易智能体测试平台：合约具有二元付款，价格可解释为概率，而实际绩效严重依赖市场微结构、费用和结算风险。我们引入 PredictionMarketBench，一种类似 SWE-bench 的基准框架，用于通过历史限价订单簿和交易数据的确定性、事件驱动回放，对预测市场上的算法和基于大语言模型的交易智能体进行评估。PredictionMarketBench 标准化了（i）从原始交易所流（订单簿、交易、生命周期、结算）构建剧集，（ii）具备做市商/做单商语义和费用建模的执行真实模拟器，以及（iii）支持经典策略和工具调用 LLM 智能体的工具化界面，确保可复现的轨迹。我们发布了四组覆盖加密货币、天气和体育的 Kalshi-based episodes。基线结果显示，朴素的交易智能体因交易成本和结算损失可能表现不佳，而费用感知的算法策略在波动性剧集中仍保持竞争力。