神经分段常数延迟微分方程
机器学习
2022-01-05 v1 人工智能
动力系统
混沌动力学
摘要
连续深度神经网络，如神经常微分方程（ODEs），近年来引起了机器学习和数据科学界的极大兴趣，其架起了深度神经网络与动力系统之间的联系。在本文中，我们引入一种新型连续深度神经网络，称为神经分段常数延迟微分方程（PCDDEs）。此处，与近期提出的神经延迟微分方程（DDEs）框架不同，我们将单一延迟转换为分段常数延迟（多个）。经此转换的神经 PCDDEs 一方面继承了神经 DDEs 的通用逼近能力优势；另一方面，神经 PCDDEs 利用来自多个先前时间步信息的贡献，在不增加网络维度的前提下进一步提升了建模能力。借助此提升，我们展示了神经 PCDDEs 在一维分段常数延迟种群动力学和包括 MNIST、CIFAR10 及 SVHN 的真实世界数据集上确实优于若干现有连续深度神经框架。
引用
@article{arxiv.2201.00960,
title = {Neural Piecewise-Constant Delay Differential Equations},
author = {Qunxi Zhu and Yifei Shen and Dongsheng Li and Wei Lin},
journal= {arXiv preprint arXiv:2201.00960},
year = {2022}
}
备注
9pages, 5 figures, accepted in AAAI 2022