因子化世界状态下的奖励预测
计算与语言
2026-03-11 v1
摘要
代理必须推断动作结果并选择最大化奖励信号的动作，以指示目标接近程度。监督学习奖励模型可能引入训练数据中固有的偏见，限制其对新目标和环境的泛化能力。本文研究是否仅通过明确定义的世界状态表示即可实现跨域的准确奖励预测。为此，我们引入 StateFactory，一种 factorized representation 方法，将非结构化观察转换为基于语言模型的层次化 object-attribute 结构。这种结构化表示允许将奖励自然地估计为当前状态与目标状态在层次约束下的语义相似度。总体而言，StateFactory 引发的紧凑 representation 结构 enables strong reward generalization 能力。我们在 RewardPrediction 上进行评估，这是一个新的基准数据集，涵盖 5 个 diverse 领域，包含 2,454 个 unique action-observation trajectory，带有 step-wise ground-truth rewards。我们的方法在 VLWM-critic 和 LLM-as-a-Judge reward 模型方面实现了 promising zero-shot 结果，分别实现 60% 和 8% 的 EPIC distance 降低。此外，这种优异奖励质量成功地翻译为改进的 agent 规划性能，在 AlfWorld 上实现 +21.64% 在 ScienceWorld 上实现 +12.40% 的 success rate 增益，增强了 reactive system-1 策略和 system-2 agent 规划。项目页面：https://statefactory.github.io
关键词
引用
@article{arxiv.2603.09400,
title = {Reward Prediction with Factorized World States},
author = {Yijun Shen and Delong Chen and Xianming Hu and Jiaming Mi and Hongbo Zhao and Kai Zhang and Pascale Fung},
journal= {arXiv preprint arXiv:2603.09400},
year = {2026}
}