Fisher 装饰器：通过局部传递图细化流动策略
机器学习
2026-05-06 v2 机器人学
摘要
近期进展表明，基于流匹配参数化策略的流式离线强化学习（RL）通过克服表现出强大的性能，但仍面临表达性、最优性和效率之间的关键权衡。在 particular，现有流策略将 正则化解释为 2-Wasserstein 距离（）的上界，这在离线环境中可能具有问题。这种问题源于根本的几何不匹配：行为策略流形本质上是各向异性的，而 （或 的上界）正则化是各向同性的且不依赖密度的，导致优化方向系统性偏离。在解决此问题的同时，我们从几何视角重新审视离线 RL，表明策略细化可形式化为局部传递图：初始流策略增添残差位移。通过分析诱导的密度变换，我们推导了受 Fisher 信息矩阵支配的 KL 受限目标的局部二次近似，从而实现可处理的各向异性优化表述。凭借利用流速度中嵌入的得分函数，我们获得相应的二次约束，以实现高效优化。我们的结果表明，先前方法的差距源于其各向同性近似。相比之下，我们的框架实现了在最优解附近可控的近似误差。广泛实验表明，我们的方法在多样化的离线 RL 基准中实现了领先性能。项目页面：https://github.com/ARC0127/Fisher-Decorator
引用
@article{arxiv.2604.17919,
title = {Fisher Decorator: Refining Flow Policy via a Local Transport Map},
author = {Xiaoyuan Cheng and Haoyu Wang and Wenxuan Yuan and Ziyan Wang and Zonghao Chen and Li Zeng and Zhuo Sun},
journal= {arXiv preprint arXiv:2604.17919},
year = {2026}
}