面向局部序列转导的伪双向解码
计算与语言
2020-11-03 v3 机器学习
摘要
局部序列转导（LST）任务是指源序列与目标序列之间存在大量重叠的序列转导任务，例如语法错误纠正（GEC）以及拼写或 OCR 纠正。先前的工作通常用标准的序列到序列（seq2seq）模型来处理 LST 任务，这些模型从左向右生成输出词元，并受到输出不平衡问题的困扰。受 LST 任务特性的启发，本文提出一种简单但通用的名为伪双向解码（PBD）的方法用于 LST 任务。PBD 将源词元对应的表示复制给解码器作为伪未来上下文，使解码器能够关注其双向上下文。此外，双向解码方案与 LST 任务的特性促使我们共享 seq2seq 模型的编码器与解码器。所提出的 PBD 方法为解码器提供右侧上下文信息，并对 LST 任务的归纳偏置进行建模，将参数数量减少一半并带来良好的正则化效果。在多个基准数据集上的实验结果表明，我们的方法持续提升了标准 seq2seq 模型在 LST 任务上的性能。
引用
@article{arxiv.2001.11694,
title = {Pseudo-Bidirectional Decoding for Local Sequence Transduction},
author = {Wangchunshu Zhou and Tao Ge and Ke Xu},
journal= {arXiv preprint arXiv:2001.11694},
year = {2020}
}
备注
EMNLP 2020 Findings