唯有时光能揭晓：通过重启增量性视角解读 Transformer 如何处理局部歧义

逐词处理句子的增量模型有时会遇到存在多种解释的点。因果模型被迫输出一种解释并继续，而可修订模型则可在歧义消除时编辑其先前的输出。在本文中，我们研究了重启增量式 Transformer 如何构建和更新内部状态，旨在阐明导致修订的过程，而这些修订在自回归模型中是不可行的。我们提出了一种可解释的方法来分析增量状态，表明其序列结构编码了关于花园路径效应及其消除的信息。我们的方法为各种用于上下文意义表示和依存句法分析的双向编码器带来了见解，有助于展示它们在涉及修订时相对于因果模型的优势。