用于优异跨域时间序列建模的残差注意力网络
机器学习
2020-01-14 v1 计算机视觉与模式识别
摘要
我们提出了一种新颖的架构，残差注意力网络（RAN），它将序列架构 universal transformer 和计算机视觉架构 residual net 与 high-way 架构相融合，用于跨域序列建模。该架构旨在解决基于循环神经网络的模型常面临的长依赖问题。本文作为新架构的概念验证，RAN 旨在为模型提供对序列模式的更高层次理解。据我们所知，我们首次提出此类架构。在标准 85 个 UCR 数据集中，我们取得了 35 个 SOTA 结果，另有 10 个结果与当前 SOTA 结果持平，且未进一步进行模型微调。结果表明，该架构在复杂长序列建模中具有前景，并可能有广泛的跨域应用。
引用
@article{arxiv.2001.04077,
title = {Residual Attention Net for Superior Cross-Domain Time Sequence Modeling},
author = {Seth H. Huang and Xu Lingjie and Jiang Congwei},
journal= {arXiv preprint arXiv:2001.04077},
year = {2020}
}