面向风格感知序列到序列模型的先验注意力
计算与语言
2018-06-26 v1
摘要
我们扩展了序列到序列模型，通过由潜码向量在解码前（a priori）生成的注意力，来控制所生成输出的特征或风格。在训练初始的基于注意力的序列到序列模型后，我们使用以输入序列表示与潜码向量空间为条件的变分自编码器来生成注意力矩阵。通过在解码时从该潜空间的特定区域采样码向量，并在 seq2seq 模型中施加由其生成的先验注意力，可将输出导向具备某些属性。这在句子简化任务中得以展示：潜码向量允许控制输出长度与词汇简化，并支持微调以优化不同评价指标。
引用
@article{arxiv.1806.09439,
title = {Prior Attention for Style-aware Sequence-to-Sequence Models},
author = {Lucas Sterckx and Johannes Deleu and Chris Develder and Thomas Demeester},
journal= {arXiv preprint arXiv:1806.09439},
year = {2018}
}
备注
6 pages, 6 figures