FF2：一种用于标点恢复的特征融合双流框架
计算与语言
2022-11-10 v1
摘要
为完成标点恢复，大多数现有方法侧重于引入额外信息（如词性）或解决类别不平衡问题。近来，基于大规模 transformer 的预训练语言模型（PLMS）已被广泛使用并取得显著成功。然而，PLMS 是在带有标记的大规模数据集上训练的，可能难以很好地适配不带标记的小数据集，导致收敛不够理想。在本研究中，我们提出一种特征融合双流框架（FF2）来弥合这一差距。具体而言，一条流利用预训练语言模型捕获语义特征，而另一条辅助模块捕获当前特征。我们还修改了多头注意力的计算以鼓励各头之间的通信。随后，将两种不同视角的特征聚合以融合信息并增强上下文感知。无需额外数据，在流行基准 IWSLT 上的实验结果表明，FF2 取得了新的 SOTA 性能，验证了我们的方法有效。
引用
@article{arxiv.2211.04699,
title = {FF2: A Feature Fusion Two-Stream Framework for Punctuation Restoration},
author = {Yangjun Wu and Kebin Fang and Yao Zhao and Hao Zhang and Lifeng Shi and Mengqi Zhang},
journal= {arXiv preprint arXiv:2211.04699},
year = {2022}
}
备注
5pages. arXiv admin note: substantial text overlap with arXiv:2203.12487