DeepSITH：通过跨时间尺度分解what与when实现高效学习
机器学习
2021-10-28 v2
摘要
在一系列时间尺度上提取时间关系是人类感知与认知的标志，因此也是应用于现实问题的机器学习的关键特征。神经网络要么受困于循环神经网络（RNN）中的梯度爆炸/消失问题，要么必须调整参数以学习相关时间尺度（如LSTM中）。本文提出DeepSITH，一种由受生物学启发的尺度不变时间历史（SITH）模块与层间稠密连接串联组成的网络。SITH模块以几何间隔的一组时间常数对其输入作出响应，使DeepSITH网络能沿连续时间尺度学习问题。我们在若干时间序列预测与解码任务上将DeepSITH与LSTM及其他近期RNN比较。DeepSITH在这些问题上取得了最先进的性能。
引用
@article{arxiv.2104.04646,
title = {DeepSITH: Efficient Learning via Decomposition of What and When Across Time Scales},
author = {Brandon Jacques and Zoran Tiganj and Marc W. Howard and Per B. Sederberg},
journal= {arXiv preprint arXiv:2104.04646},
year = {2021}
}