基于Koopman算子框架的最小二乘策略迭代中的自动特征识别
机器学习
2026-03-30 v1 动力系统
摘要
本文提出了一种基于Koopman自编码器的最小二乘策略迭代(KAE-LSPI)算法，用于强化学习(RL)。KAE-LSPI算法通过将所谓的最小二乘不动点近似方法重新表述为扩展动态模态分解(EDMD)，从而借助Koopman自编码器(KAE)框架实现自动特征学习。该方法的动机源于线性RL技术中缺乏系统的特征或核选择。我们将KAE-LSPI算法与两项先前工作——经典最小二乘策略迭代(LSPI)和基于核的最小二乘策略迭代(KLSPI)——进行了对比，以随机链游走和倒立摆控制问题为例。与先前工作不同，本方法无需预先固定特征或核。实验结果表明，KAE技术学习的特征数量与经典LSPI算法中固定的数量相比保持合理，且收敛至最优或近最优策略的性能与其他两种方法相当。
引用
@article{arxiv.2603.26464,
title = {Automatic feature identification in least-squares policy iteration using the Koopman operator framework},
author = {Christian Mugisho Zagabe and Sebastian Peitz},
journal= {arXiv preprint arXiv:2603.26464},
year = {2026}
}
备注
6 pages