面向序列标注的不确定性感知标签精化
计算与语言
2020-12-22 v1
摘要
用于标签解码的条件随机场（CRF）在序列标注任务中已变得无处不在。然而，局部标签依赖与低效的 Viterbi 解码始终是待解决的问题。本工作中，我们引入一种新颖的两阶段标签解码框架来建模长期标签依赖，同时计算效率更高。一个基模型首先预测草稿标签，随后一种新颖的双流自注意力模型基于长距离标签依赖对这些草稿预测进行精化，可实现并行解码以加快预测。此外，为减轻错误草稿标签的副作用，采用贝叶斯神经网络来指示高概率出错的标签，可极大有助于防止错误传播。在三个序列标注基准上的实验结果表明，所提方法不仅优于基于 CRF 的方法，还大幅加速了推理过程。
引用
@article{arxiv.2012.10608,
title = {Uncertainty-Aware Label Refinement for Sequence Labeling},
author = {Tao Gui and Jiacheng Ye and Qi Zhang and Zhengyan Li and Zichu Fei and Yeyun Gong and Xuanjing Huang},
journal= {arXiv preprint arXiv:2012.10608},
year = {2020}
}
备注
Accepted by EMNLP 2020