低资源场景下序列到序列模型用于词发现的实证评估
计算与语言
2019-09-12 v2
摘要
自Bahdanau等人[1]首次将注意力机制引入神经机器翻译以来，大多数序列到序列模型都使用了注意力机制[2,3,4]。尽管它们产生的软对齐矩阵可被解释为目标语言与源语言之间的对齐，但我们缺乏量化其质量的指标，不清楚哪种方法能产生最佳对齐。本文对3种主要序列到序列模型（基于CNN、RNN和Transformer的）从未分词音素序列中进行词发现的任务给出了实证评估。该任务在于将源语言中的词序列与目标语言中的音素序列对齐，并由此推断目标语言侧的分词[5]。评估分词质量可视为对训练期间产生的软对齐矩阵的外在评估。我们在Mboshi语和英语（均与法语对齐）的低资源场景下的实验表明，RNN出人意料地优于CNN和Transformer在此任务上的表现。我们的结果通过使用平均归一化熵(ANE)对对齐质量进行内在评估得到证实。最后，我们利用一种累积集合中给定对齐对所有出现次数的ANE的对齐熵置信度度量改进了我们最佳的词发现模型。
引用
@article{arxiv.1907.00184,
title = {Empirical Evaluation of Sequence-to-Sequence Models for Word Discovery in Low-resource Settings},
author = {Marcely Zanon Boito and Aline Villavicencio and Laurent Besacier},
journal= {arXiv preprint arXiv:1907.00184},
year = {2019}
}
备注
Interspeech 2019