关于张量幂循环模型的记忆机制
机器学习
2021-03-03 v1 系统与控制
系统与控制
摘要
张量幂（TP）循环模型是一类非线性动力系统，其递推关系由 p 重（又称 p 阶）张量积构成。尽管该模型频繁出现于先进的循环神经网络（RNN）中，迄今为止对其记忆性质——序列任务中的关键特性——的研究有限。本工作中，我们对 TP 循环模型的记忆机制进行了深入探究。理论上，我们证明较大的阶数 p 是实现长记忆效应的必要条件，但这会导致不稳定的动力学行为。在经验上，我们通过将阶数 p 从离散扩展至可微域来解决该问题，从而可从多种数据集高效学习。综上，新模型有望以稳定方式受益于长记忆效应。我们通过实验表明，所提模型在单单元与 seq2seq 架构中相较于各类先进 RNN 均取得了竞争性性能。
引用
@article{arxiv.2103.01521,
title = {On the Memory Mechanism of Tensor-Power Recurrent Models},
author = {Hejia Qiu and Chao Li and Ying Weng and Zhun Sun and Xingyu He and Qibin Zhao},
journal= {arXiv preprint arXiv:2103.01521},
year = {2021}
}
备注
This work is accepted to AISTATS 2021