基于梯度学习的范畴论基础
机器学习
2021-07-14 v2 范畴论
摘要
我们提出了一种基于透镜、参数化映射和反向导数范畴的基于梯度的机器学习算法的范畴语义。该基础提供了一个强大的解释性和统一性框架：它涵盖了多种梯度下降算法，如 ADAM、AdaGrad 和 Nesterov 动量，以及多种损失函数，如 MSE 和 Softmax 交叉熵，从而揭示它们相似性与差异的新见解。我们的基于梯度学习的方法具有超越熟悉的连续域（在光滑映射范畴中建模）的泛化示例，并且可以在布尔电路的离散设置中实现。最后，我们通过 Python 中的实现展示了我们框架的实际意义。
引用
@article{arxiv.2103.01931,
title = {Categorical Foundations of Gradient-Based Learning},
author = {G. S. H. Cruttwell and Bruno Gavranović and Neil Ghani and Paul Wilson and Fabio Zanasi},
journal= {arXiv preprint arXiv:2103.01931},
year = {2021}
}
备注
14 pages