将 Transformer 应用于字符级转导

Transformer 已被证明在各种词级 NLP 任务中优于基于循环神经网络的序列到序列模型。然而对于字符级转导任务，例如形态屈折生成与历史文本规范化，少数工作使用 Transformer 超越了循环模型。在一项实证研究中，我们揭示出与循环序列到序列模型相反，批大小在 Transformer 于字符级任务上的性能中起着关键作用，并且我们展示在足够大的批大小下，Transformer 确实优于循环模型。我们还引入了一种简单技术来处理特征引导的字符级转导，进一步提升了性能。借助这些见解，我们在形态屈折与历史文本规范化上取得了最先进的性能。我们还展示了 Transformer 在另两个字符级转导任务——字素到音素转换与音译上优于强基线。