BioCopy：序列到序列模型中一种即插即用的片段复制机制
计算与语言
2021-09-28 v1 人工智能
机器学习
摘要
在神经序列到序列框架下，复制机制显式地从源（输入）序列中获取未改变的 token 以生成目标（输出）序列。然而，现有大多数复制机制仅考虑从源句中复制单个词，导致在复制长片段时丢失关键 token。本文提出一种即插即用的架构，称为 BioCopy，以缓解上述问题。具体而言，在训练阶段，我们为每个 token 构建 BIO 标签，并与原始模型联合训练 BIO 标签。在推理阶段，模型将首先在每个时间步预测 BIO 标签，然后基于预测的 BIO 标签执行不同的掩码策略，以缩小词汇表上概率分布的范围。在两个独立的生成任务上的实验结果表明，在原始模型结构上加入我们的 BioCopy 后，它们均优于基线模型。
引用
@article{arxiv.2109.12533,
title = {BioCopy: A Plug-And-Play Span Copy Mechanism in Seq2Seq Models},
author = {Yi Liu and Guoan Zhang and Puning Yu and Jianlin Su and Shengfeng Pan},
journal= {arXiv preprint arXiv:2109.12533},
year = {2021}
}
备注
emnlp workshop