层数灵活的自适应计算时间
机器学习
2021-01-05 v5 机器学习
摘要
深度循环神经网络在序列数据上表现良好,是首选模型。然而,决定网络结构即层数是一项艰巨任务,尤其考虑到序列不同的计算需求。我们提出了一种具有自适应计算时间的层数灵活循环神经网络,并将其扩展为序列到序列模型。与自适应计算时间模型不同,我们的模型具有随步与序列变化的动态数量的传输状态。我们在金融数据集与Wikipedia语言建模上评估该模型。实验结果显示性能提升7%至12%,并表明模型能够随计算步动态改变层数。
引用
@article{arxiv.1812.02335,
title = {Layer Flexible Adaptive Computational Time},
author = {Lida Zhang and Abdolghani Ebrahimi and Diego Klabjan},
journal= {arXiv preprint arXiv:1812.02335},
year = {2021}
}
备注
11 pages, 5 figures