具有序列感知编码的循环自编码器
机器学习
2021-06-14 v3 机器学习
摘要
循环神经网络（RNN）在过去十年受到大量关注。近来，循环自编码器（RAE）的架构在实践中有诸多应用。RAE 可提取具有语义价值的信息，称为上下文，其表示一个对后续处理有用的潜空间。然而，循环自编码器难以训练，且训练过程耗时长久。本文中，我们提出一种具有序列感知编码的自编码器架构，其采用一维卷积层以提升模型训练时间方面的性能。我们证明，在大多数情况下，具有序列感知编码的循环自编码器在训练速度上优于标准 RAE。初步结果表明，所提方案优于标准 RAE，且训练过程快一个数量级。
引用
@article{arxiv.2009.07349,
title = {Recurrent autoencoder with sequence-aware encoding},
author = {Robert Susik},
journal= {arXiv preprint arXiv:2009.07349},
year = {2021}
}