使用梯度下降学习函子
机器学习
2020-09-16 v1 人工智能
范畴论
摘要
神经网络是可微优化的通用框架，其将许多其他机器学习方法作为特例包含在内。在本文中，我们围绕称为 CycleGAN 的神经网络系统建立范畴论形式体系。CycleGAN 是近年来受到关注的通用无配对图像到图像翻译方法。受范畴数据库系统的启发，我们展示 CycleGAN 是一个“模式”，即由生成元与关系给出的特定范畴，其具体的参数实例化只是该模式上的集值函子。我们展示强制循环一致性等同于在该范畴中强制复合不变性。我们将学习过程推广到任意此类范畴，并展示一类特殊的函子（而非函数）可使用梯度下降学习。利用该框架，我们设计了一种新颖的神经网络系统，能够在无配对数据的情况下学习从图像中插入和删除对象。我们在 CelebA 数据集上对该系统作定性评估，并获得了有前景的结果。
引用
@article{arxiv.2009.06837,
title = {Learning Functors using Gradient Descent},
author = {Bruno Gavranović},
journal= {arXiv preprint arXiv:2009.06837},
year = {2020}
}
备注
In Proceedings ACT 2019, arXiv:2009.06334. This paper is a condensed version of the master thesis of the author (arXiv:1907.08292)