基于Q表微分熵的Q学习
机器学习
2020-06-29 v1 机器学习
摘要
众所周知，经典且简单的Q学习算法中会发生信息损失。基于熵的策略搜索方法被引入以替代Q学习，并设计对信息损失更鲁棒的算法。我们推测，Q学习在长时间训练过程中性能下降是由信息损失引起的，而仅检查累积奖励且不改变Q学习算法本身时，该损失是非透明的。我们引入Q表微分熵（DE-QT）作为Q学习算法的外部信息损失检测器。分析DE-QT在训练回合上的行为，以寻找训练中恰当的停止准则。结果表明，DE-QT可检测到最恰当的停止点，在此处经典Q学习算法的高成功率与高效率之间达到平衡。
引用
@article{arxiv.2006.14795,
title = {Q-Learning with Differential Entropy of Q-Tables},
author = {Tung D. Nguyen and Kathryn E. Kasmarik and Hussein A. Abbass},
journal= {arXiv preprint arXiv:2006.14795},
year = {2020}
}