超越ReLU：用于增强深度Q网络的Chebyshev-DQN
机器学习
2025-08-21 v1 人工智能
摘要
深度Q网络（DQN）的性能关键取决于其底层神经网络准确逼近动作价值函数的能力。标准函数逼近器，如多层感知器，可能难以高效地表示许多强化学习问题中固有的复杂价值景观。本文引入了一种新颖的架构，即Chebyshev-DQN（Ch-DQN），它将切比雪夫多项式基集成到DQN框架中，以创建更有效的特征表示。通过利用切比雪夫多项式强大的函数逼近特性，我们假设Ch-DQN能够更高效地学习并达到更高的性能。我们在CartPole-v1基准测试上评估了我们提出的模型，并将其与具有可比参数量的标准DQN进行了比较。我们的结果表明，具有中等多项式阶数（N=4）的Ch-DQN实现了显著更好的渐近性能，比基线高出约39%。然而，我们也发现多项式阶数的选择是一个关键的超参数，因为高阶数（N=8）可能对学习有害。这项工作验证了在深度强化学习中使用正交多项式基的潜力，同时也突显了模型复杂性所涉及的权衡。
引用
@article{arxiv.2508.14536,
title = {Beyond ReLU: Chebyshev-DQN for Enhanced Deep Q-Networks},
author = {Saman Yazdannik and Morteza Tayefi and Shamim Sanisales},
journal= {arXiv preprint arXiv:2508.14536},
year = {2025}
}