滑动、约束、解析、重复:用于文档AMR解析的同步滑动窗口
计算与语言
2023-05-30 v1 人工智能
摘要
滑动窗口方法为处理大于Transformer输入窗口大小的上下文提供了一种优雅方式,适用于语言建模等任务。在此我们将该方法推广至文档解析的序列到序列任务。为此,我们利用基于转移的解析的最新进展,实现了一个在源端和目标端具有同步滑动窗口的解析器。我们通过扩展Structured-BART开发了文档级AMR的预言机与解析器,使其利用源-目标对齐并约束解码以保证重叠窗口间的同步性与一致性。我们使用抽象语义表示(AMR)解析3.0语料库评估了预言机与解析器。在AMR 3.0的多句开发集上,我们表明尽管使用滑动窗口,我们的转移预言机仅损失8%的黄金跨句链接。实践中,该方法还产生了一个具有可控内存需求的高质量文档级解析器。我们所提出的系统在AMR 3.0多句语料库的文档级AMR解析任务上与时下最先进的流水线方法表现相当,同时保持了句子级解析性能。
引用
@article{arxiv.2305.17273,
title = {Slide, Constrain, Parse, Repeat: Synchronous SlidingWindows for Document AMR Parsing},
author = {Sadhana Kumaravel and Tahira Naseem and Ramon Fernandez Astudillo and Radu Florian and Salim Roukos},
journal= {arXiv preprint arXiv:2305.17273},
year = {2023}
}