面向字符级转写的精确硬单调注意力

许多常见的字符级字符串到字符串转写任务，例如字素到音素转换和形态屈折变化，几乎完全由单调转写构成。然而，使用非单调软注意力的神经序列到序列模型通常优于流行的单调模型。在这项工作中，我们提出以下问题：单调性对于这些任务真的是一种有用的归纳偏置吗？我们开发了一种硬注意力序列到序列模型，该模型强制执行严格单调性，并在学习转写的同时联合学习潜在对齐。借助动态规划，我们能够计算所有单调对齐的精确边缘化。我们的模型在形态屈折变化上达到了最先进的性能。此外，我们在另外两个字符级转写任务上发现了强劲的性能。代码可在 https://github.com/shijie-wu/neural-transducer 获取。