复制即可！通过复制跨度片段编辑序列
机器学习
2020-12-15 v2 机器学习
摘要
神经序列到序列模型正日益用于文档编辑，例如校正文本文档或修复源代码。本文中，我们认为常见的seq2seq模型（具有复制单个词元的功能）并不天然适合此类任务，因为它们必须显式复制每个未更改的词元。我们提出了一种seq2seq模型的扩展，能够一步将输入的整个跨度片段复制到输出，大幅减少推理过程中所需的决策数量。该扩展意味着现在有许多方式生成相同输出，我们通过推导新的训练目标以及一种显式处理此问题的推理波束搜索变体来解决。在包括自然语言和源代码一系列编辑任务的实验中，我们表明新模型持续优于更简单的基线。
引用
@article{arxiv.2006.04771,
title = {Copy that! Editing Sequences by Copying Spans},
author = {Sheena Panthaplackel and Miltiadis Allamanis and Marc Brockschmidt},
journal= {arXiv preprint arXiv:2006.04771},
year = {2020}
}
备注
Published in AAAI 2021