后见网络信用分配：离散随机单元网络中的高效信用分配
机器学习
2021-12-17 v2 人工智能
摘要
训练具有离散随机变量的神经网络提出了一个独特的挑战。反向传播不直接适用，用于连续随机变量网络的重参数化技巧也不适用。为了应对这一挑战，我们提出了后见网络信用分配，一种用于离散随机单元网络的新型梯度估计算法。HNCA通过根据每个单元的输出对其网络中直接子节点的影响程度来分配信用。我们证明，与REINFORCE估计器相比，HNCA产生无偏的梯度估计，且方差降低，同时计算成本与反向传播相似。我们首先在上下文赌博机设置中应用HNCA来优化一个对智能体未知的奖励函数。在此设置中，我们通过实验证明HNCA显著优于REINFORCE，表明我们理论分析所暗示的方差降低是显著且有影响力的。然后，我们展示了如何将HNCA扩展以优化一个对智能体已知的随机单元网络输出的更通用函数。我们将此扩展版本的HNCA应用于训练离散变分自编码器，并通过实验证明其与其他强方法相比具有优势。我们相信，HNCA背后的思想有助于激发关于随机计算图中高效信用分配的新思考方式。
引用
@article{arxiv.2110.07700,
title = {Hindsight Network Credit Assignment: Efficient Credit Assignment in Networks of Discrete Stochastic Units},
author = {Kenny Young},
journal= {arXiv preprint arXiv:2110.07700},
year = {2021}
}
备注
To be presented at AAAI 2022