基于子词级信息向量与卷积神经网络的法语句子边界检测
计算与语言
2018-02-14 v1
摘要
在这项工作中，我们将法语句子边界检测作为一个二分类任务（“句子边界”或“非句子边界”）来处理。我们将卷积神经网络与子词级信息向量相结合，后者是从 Wikipedia 学习得到的词嵌入表示，利用了词的形态学特征；因此每个词被表示为其字符 n-gram 的词袋。我们决定使用一个大型书面数据集（French Gigaword）而非标准规模的转写文本来训练和评估所提出的架构，目的是将训练好的模型用于后续的真实生活 ASR 转写。我们测试了三种不同的架构，结果显示相似；所有模型的总体准确率均超过 0.96。三个模型在“非句子边界”类上的 F1 分数均表现良好，达到 0.97 以上。然而，“句子边界”类的分数较低，其中一个模型的 F1 指标降至 0.778。使用子词级信息向量似乎非常有效，由此可得出结论：嵌入表示中编码的词形态类似于图像中的像素，使得使用卷积神经网络架构成为可能。
引用
@article{arxiv.1802.04559,
title = {Sentence Boundary Detection for French with Subword-Level Information Vectors and Convolutional Neural Networks},
author = {Carlos-Emiliano González-Gallardo and Juan-Manuel Torres-Moreno},
journal= {arXiv preprint arXiv:1802.04559},
year = {2018}
}
备注
In proceedings of the International Conference on Natural Language, Signal and Speech Processing (ICNLSSP) 2017