通过混合特征跨维随机场语言模型整合离散与神经特征
计算与语言
2020-04-17 v2 机器学习
音频与语音处理
摘要
长期以来人们认识到离散特征(n-gram 特征)与基于神经网络的特征对于语言模型(LMs)具有互补优势。通过模型插值得以提升性能，然而这是离散与神经特征的两步次优整合。跨维随机场(TRF)框架具有灵活整合更丰富特征集的潜在优势。但先前 TRF LMs 中要么单独使用离散特征，要么单独使用神经特征。本文发展了一种混合特征 TRF LM，并展示其在整合离散与神经特征上的优势。在 PTB 与 Google 十亿词数据集上训练多种 LMs，并在语音识别的 N-best 列表重打分实验中评估。在所有单一 LMs(即无模型插值)中，混合特征 TRF LMs 表现最佳，优于单独的离散 TRF LMs 与神经 TRF LMs，且显著优于 LSTM LMs。相较于分别插值具有离散与神经特征的两个独立训练模型，混合特征 TRF LMs 性能匹敌最佳插值模型，且具备简化的一步训练过程与更短训练时间。
引用
@article{arxiv.2002.05967,
title = {Integrating Discrete and Neural Features via Mixed-feature Trans-dimensional Random Field Language Models},
author = {Silin Gao and Zhijian Ou and Wei Yang and Huifang Xu},
journal= {arXiv preprint arXiv:2002.05967},
year = {2020}
}
备注
Accepted for presentation at ICASSP 2020, 5 pages, 2 figures