K-评分：卡尔曼滤波作为强化学习中奖励归一化的原则性替代方案
机器学习
2026-04-28 v1 人工智能
摘要
我们提出一种简单且有效的奖励归一化替代方案，用于策略梯度强化学习中，通过集成1维卡尔曼滤波进行在线奖励估计。该方法不依赖固定的启发式方法，而是递归估计潜在奖励均值，平滑高方差回报，并适应非平稳环境。该方法开销最小，无需修改现有策略架构。在LunarLander和CartPole实验中，我们证明卡尔曼滤波奖励显著加快收敛速度，并降低训练方差，优于标准归一化技术。代码已公开于 https://github.com/Sumxiaa/Kalman_Normalization。
引用
@article{arxiv.2604.23056,
title = {K-Score: Kalman Filter as a Principled Alternative to Reward Normalization in Reinforcement Learning},
author = {Zixuan Xia and Quanxi Li},
journal= {arXiv preprint arXiv:2604.23056},
year = {2026}
}
备注
Accepted in NewInML Workshop, The 42nd International Conference on Machine Learning (ICML 2025).\href{https://icml.cc/virtual/2025/affinity-event/39980}{Event Page}