保持原始边缘分布的多维 Kneser-Ney 平滑
计算与语言
2019-02-08 v1
摘要
平滑是许多自然语言处理（NLP）任务中的重要工具，因此过去已为此开发了众多技术。最广泛使用的平滑方法之一是 Kneser-Ney 平滑（KNS）及其变体，包括修正 Kneser-Ney 平滑（MKNS），它们被广泛认为是最佳的可用平滑方法。尽管作者在创建原始 KNS 时的意图是开发一种保持原始模型边缘分布的平滑方法，但在开发 MKNS 时这一性质未被保持。在本文中，我希望克服这一点，并提出这样一种 MKNS 的精炼版本：在保持先前两个版本优势的同时，保留这些边缘分布。除其优良性质外，这种新颖的平滑方法在标准语言建模任务中被证明取得了与 MKNS 大致相当的结果。
引用
@article{arxiv.1807.03583,
title = {Multi-D Kneser-Ney Smoothing Preserving the Original Marginal Distributions},
author = {András Dobó},
journal= {arXiv preprint arXiv:1807.03583},
year = {2019}
}