一种用于集成大规模自然语言理解模型的重排序器方案
计算与语言
2018-09-26 v1
摘要
大规模自然语言理解（NLU）系统通常在大量数据上训练，需要快速且可扩展的训练策略。NLU系统的典型设计由领域级NLU模块（领域分类器、意图分类器与命名实体识别器）组成。来自这些领域特定模块的假设（由各种意图+槽位组合构成的NLU解释）通常由另一个下游组件聚合。重排序器集成来自领域级识别器的输出，返回跨领域假设的带分列表。理想的重排序器应具备以下两个性质：(a) 它应将给定输入的最相关假设作为首要假设；(b) 重排序器产生的每个假设对应的解释分数应经过校准。校准使得最终NLU解释分数在跨领域间可比较。我们提出了一种解决这些方面同时保持领域特定模块化的新型重排序器策略。我们为此种模块化重排序器设计了优化损失函数，并给出了降低首要假设错误率以及保持模型校准的结果。我们还试验了一种扩展，即在由各领域独立整理的数据集上训练领域特定重排序器，以允许进一步异步化。
引用
@article{arxiv.1809.09605,
title = {A Re-ranker Scheme for Integrating Large Scale NLU models},
author = {Chengwei Su and Rahul Gupta and Shankar Ananthakrishnan and Spyros Matsoukas},
journal= {arXiv preprint arXiv:1809.09605},
year = {2018}
}
备注
7 pages, Accepted to IEEE SLT-2018