探索半梯度 Q 学习中的隐式偏差：通过 Fokker--Planck 方程可视化有效损失景观
机器学习
2024-06-13 v1 人工智能
摘要
半梯度 Q 学习在众多领域得到应用，但由于缺乏显式损失函数，难以研究其参数空间中的动力学和隐式偏差。本文引入 Fokker--Planck 方程，并利用通过抽样获得的部分数据来构建和可视化二维参数空间内的有效损失景观。该可视化揭示了全局最小值在损失景观中如何转化为有效损失景观中的鞍点，以及半梯度方法的隐式偏差。此外，我们演示了即使在高维参数空间和神经网络设置下，源自损失景观全局最小值产生的鞍点仍然存在于有效损失景观中。本文发展了一种新方法，用于探测半梯度 Q 学习中的隐式偏差。
引用
@article{arxiv.2406.08148,
title = {Probing Implicit Bias in Semi-gradient Q-learning: Visualizing the Effective Loss Landscapes via the Fokker--Planck Equation},
author = {Shuyu Yin and Fei Wen and Peilin Liu and Tao Luo},
journal= {arXiv preprint arXiv:2406.08148},
year = {2024}
}