用于强化学习的近端 Bellman 映射及其在鲁棒自适应滤波中的应用
信号处理
2023-09-15 v1 机器学习
摘要
本文旨在通过引入新颖的近端 Bellman 映射类触及强化学习（RL）的算法/理论核心。这些映射定义于再生核 Hilbert 空间（RKHSs）中，以受益于 RKHSs 丰富的逼近性质与内积；无论其折扣因子取值如何，它们都被证明属于强大的 Hilbert 型（切实）非扩张映射族，并且具有充足的设计自由度，甚至可复现经典 Bellman 映射的属性，并为新颖的 RL 设计铺平道路。基于所提出的映射类构建了一种近似策略迭代方案，用以解决在线性自适应滤波中于每个时刻在线选取 -范数损失中的“最优”指数 以抑制离群值的问题，且无需训练数据及关于离群值统计特性的任何知识。在合成数据上的数值测试展示了所提框架相对于若干非 RL 与基于核的 RL 方案的优越性能。
引用
@article{arxiv.2309.07548,
title = {Proximal Bellman mappings for reinforcement learning and their application to robust adaptive filtering},
author = {Yuki Akiyama and Konstantinos Slavakis},
journal= {arXiv preprint arXiv:2309.07548},
year = {2023}
}
备注
arXiv admin note: text overlap with arXiv:2210.11755