RNN 的回归：用于可逆句子嵌入的残差循环网络
计算与语言
2023-04-07 v2 机器学习
摘要
本研究提出了一种利用在无监督编码任务上训练的残差循环网络实现可逆句子嵌入的新模型。与神经机器翻译模型常见的概率输出不同，我们的方法采用基于回归的输出层来重建输入序列的词向量。该模型使用 ADAM 优化器实现了高精度与快速训练，考虑到 RNN 通常需要记忆单元（如 LSTM）或二阶优化方法，这是一个重要发现。我们引入残差连接并提出了一种“匹配丢弃（match drop）”技术，即仅对错误词计算梯度。我们的方法展示了在各种自然语言处理应用中的潜力，特别是在需要高质量句子嵌入的基于神经网络的系统中。
引用
@article{arxiv.2303.13570,
title = {Return of the RNN: Residual Recurrent Networks for Invertible Sentence Embeddings},
author = {Jeremy Wilkerson},
journal= {arXiv preprint arXiv:2303.13570},
year = {2023}
}
备注
Adds descriptions of the use of dropout, the use of custom C++ code, the removal of non-English sentences, other minor changes