将镜像下降重参数化为梯度下降

近来神经网络大多数成功的应用都基于使用梯度下降更新进行训练。然而，对于一些小网络，当目标稀疏时，其他镜像下降更新被证明学习得更高效。我们提出了一个通用框架，将镜像下降更新转化为在不同参数集上的梯度下降更新。在某些情况下，该镜像下降重参数化可描述为使用标准反向传播训练一个修改后的网络。该重参数化框架通用性强，涵盖广泛的镜像下降更新，甚至包括域受限的情形。我们对重参数化论证的构造是针对更新的连续版本进行的。寻找使离散版本紧密跟踪其连续对应物的通用准则仍是一个有趣的开放问题。