后见之明网络信用分配
机器学习
2020-11-26 v1 人工智能
摘要
我们提出后见之明网络信用分配（HNCA），一种针对随机神经网络的新颖学习方法，其通过依据每个神经元随机输出对网络中其直接子节点输出的影响来分配信用。我们证明，与 REINFORCE 估计器相比，HNCA 提供无偏梯度估计的同时降低了方差。我们还在 MNIST 的上下文赌博机版本中通过实验展示了 HNCA 相对于 REINFORCE 的优势。HNCA 的计算复杂度与反向传播相似。我们相信 HNCA 有助于激发关于随机计算图中信用分配的新思考方式。
引用
@article{arxiv.2011.12351,
title = {Hindsight Network Credit Assignment},
author = {Kenny Young},
journal= {arXiv preprint arXiv:2011.12351},
year = {2020}
}