降低模型抖动：生产环境中语义解析器的稳定重训练

重训练现代深度学习系统可能导致模型性能出现差异，即使使用相同的数据和超参数，仅因随机种子不同也会如此。我们将此现象称为模型抖动。该问题在生产环境中往往更为严重，因为模型是在含噪声的数据上重训练的。本文以解决稳定重训练问题为出发点，重点关注对话式语义解析器。我们首先通过引入模型一致性度量并展示其与数据集噪声和模型规模的变化关系，对模型抖动问题进行了量化。随后，我们证明了多种抖动降低技术（如集成与蒸馏）的有效性。最后，我们讨论了这些技术之间的实际权衡，并表明协同蒸馏在语义解析系统的抖动降低方面提供了一个最佳平衡点，且仅带来资源使用的适度增加。