利用 RNN Seq2seq 模型学习转导与对齐

Zhengxiang Wang

利用 RNN Seq2seq 模型学习转导与对齐

计算与语言 2024-04-23 v4

作者: Zhengxiang Wang

摘要

本文研究了循环神经网络序列到序列（RNN seq2seq）模型在学习四种转导任务上的能力：恒等、逆序、完全重叠与二次复制。这些转导在传统上于有限状态转导器下被充分研究，并被认为具有递增的复杂度。我们发现，RNN seq2seq 模型仅能逼近一个拟合训练或分布内数据的映射，而非学习底层函数。尽管注意力使学习更高效、更鲁棒，但它未能克服分布外泛化的局限。我们为无注意力的 RNN seq2seq 模型建立了学习这四项任务的新型复杂度层级，其可从形式语言而非字符串转导的复杂度层级角度理解。RNN 的变体也在结果中发挥作用。特别地，我们表明简单 RNN seq2seq 模型无法对输入长度计数。

关键词

RNN seq2seq 转导有限状态转导器注意力分布外泛化复杂度层级

引用

@article{arxiv.2303.06841,
  title  = {Learning Transductions and Alignments with RNN Seq2seq Models},
  author = {Zhengxiang Wang},
  journal= {arXiv preprint arXiv:2303.06841},
  year   = {2024}
}

备注

Published as a conference paper at ICGI 2023; 27 pages; 7 figures; 11 tables

利用 RNN Seq2seq 模型学习转导与对齐

摘要

关键词

引用

备注

相关论文