通过序列混合增强正则化循环神经网络
计算与语言
2020-12-15 v1 机器学习
机器学习
摘要
在本文中，我们将一类最初为前馈神经网络提出的著名正则化技术，即输入混合（Zhang et al., 2017）与流形混合（Verma et al., 2018），扩展至循环神经网络（RNN）领域。我们提出的方法易于实现且计算复杂度低，同时能在多种任务中提升简单神经架构的性能。我们通过在真实世界数据集上的若干实验验证了我们的主张，并提供了渐近理论分析以进一步研究我们所提技术的性质与潜在影响。将序列混合应用于 BiLSTM-CRF 模型（Huang et al., 2015）在 CoNLL-2003 数据（Sang and De Meulder, 2003）上的命名实体识别任务，显著提升了测试阶段的 F-1 分数并降低了损失。
引用
@article{arxiv.2012.07527,
title = {Regularizing Recurrent Neural Networks via Sequence Mixup},
author = {Armin Karamzade and Amir Najafi and Seyed Abolfazl Motahari},
journal= {arXiv preprint arXiv:2012.07527},
year = {2020}
}
备注
17 pages