通过延迟迹实现可微因果计算
计算机科学中的逻辑
2019-03-05 v1 神经与进化计算
范畴论
摘要
我们研究将输入序列映射到输出序列的因果计算，其中第 个输出仅依赖于前 个输入。我们通过范畴论中的一个构造对这些计算进行建模，该构造将笛卡尔范畴 映射到另一个范畴 ，后者带有一个称为“延迟迹”的新型类迹运算，该运算缺少通常迹的拉扯公理与自然性公理。延迟迹运算为 提供了一种反馈机制，并隐式保证了受囿性。当 配备了笛卡尔微分算子时，我们利用基于函数展开的机器学习技术——随时间反向传播的抽象版本，为 构造了一个微分算子。这为随时间反向传播获得了一系列性质，包括链式法则和 Schwarz 定理。我们的微分算子还能够计算有状态网络的导数，而无需展开该网络。
引用
@article{arxiv.1903.01093,
title = {Differentiable Causal Computations via Delayed Trace},
author = {David Sprunger and Shin-ya Katsumata},
journal= {arXiv preprint arXiv:1903.01093},
year = {2019}
}