一种对时间重标度不变的深度卷积神经网络
机器学习
2022-07-01 v3
摘要
人类学习者在语音或旋律比平常更慢或更快呈现时，仍能轻易理解。尽管深度卷积神经网络（CNN）在从时间序列中提取信息方面极为强大，它们仍需显式训练才能泛化到不同的时间尺度。本文提出了一种深度 CNN，其纳入了受近期神经科学发现启发的时序表征。在哺乳动物大脑中，时间由具有时间感受野的神经元群体表征。关键在于，感受野的峰值构成几何级数，使得该群体在对数时间上编码一组时间基函数。由于对近过去的记忆是对数时间的函数，对输入进行重标度会导致记忆的平移。尺度不变时间历史卷积网络（SITHCon）在此对数分布的时间记忆上构建卷积层。最大池化操作产生了一个对时间重标度（模边界效应）不变的网络。我们将 SITHCon 的性能与 Temporal Convolution Network（TCN）进行比较。尽管两个网络都能在单变量与多变量时间序列 f(t) 上学习分类与回归问题，但只有 SITHCon 能泛化到重标度 f(at)。这一受当代神经科学发现启发且与认知心理学发现一致的特性，可能使网络以更少的训练样本、更少的权重学习，并对样本外数据更鲁棒地泛化。
引用
@article{arxiv.2107.04616,
title = {A deep convolutional neural network that is invariant to time rescaling},
author = {Brandon G. Jacques and Zoran Tiganj and Aakash Sarkar and Marc W. Howard and Per B. Sederberg},
journal= {arXiv preprint arXiv:2107.04616},
year = {2022}
}