软 actor-critic 的 actor 损失解析
机器学习
2022-01-03 v1
摘要
本技术报告致力于解释软 actor-critic 的 actor 损失是如何得到的，以及相关的梯度估计。它给出了推导所有给出方程所需的数学背景，从理论上的 actor 损失到实际实现的版本。这需要将软 actor-critic 中使用的重参数化技巧与 nabla log 技巧进行比较，从而引出关于最有效率使用方法的开放问题。
引用
@article{arxiv.2112.15568,
title = {Actor Loss of Soft Actor Critic Explained},
author = {Thibault Lahire},
journal= {arXiv preprint arXiv:2112.15568},
year = {2022}
}
备注
4 pages