孪生网络：为序列生成匹配未来
机器学习
2018-02-27 v3 机器学习
摘要
我们提出一种简单技术，用于鼓励生成式循环神经网络（RNN）进行前瞻规划。我们训练一个“反向”循环网络以逆序生成给定序列，并鼓励前向模型的状态预测反向模型的同时间状态。反向网络仅用于训练期间，在采样或推断中不起作用。我们假设，我们的方法通过隐式地迫使前向状态持有关于更长期未来的信息（如反向状态中所包含的），从而简化了长期依赖的建模。我们通过经验表明，我们的方法在语音识别任务上实现了9%的相对提升，并在COCO图像描述生成任务上取得了显著改进。
引用
@article{arxiv.1708.06742,
title = {Twin Networks: Matching the Future for Sequence Generation},
author = {Dmitriy Serdyuk and Nan Rosemary Ke and Alessandro Sordoni and Adam Trischler and Chris Pal and Yoshua Bengio},
journal= {arXiv preprint arXiv:1708.06742},
year = {2018}
}
备注
12 pages, 3 figures, published at ICLR 2018