揭示知识蒸馏的关键因素

知识蒸馏作为一种用于模型压缩和性能提升的技术，在神经机器翻译（NMT）中获得了显著关注。然而，现有研究主要集中在经验应用上，对于学生模型容量、数据复杂度和解码策略如何共同影响蒸馏效果缺乏全面理解。针对这一空白，我们的研究对这些因素进行了深入调查，特别关注它们在 NMT 中词级和序列级蒸馏内的相互作用。通过在 IWSLT13 En$\rightarrow$Fr、IWSLT14 En$\rightarrow$De 等数据集上的广泛实验，我们实证验证了与这些因素对知识蒸馏影响相关的假设。我们的研究不仅阐明了模型容量、数据复杂度和解码策略对蒸馏效果的显著影响，还引入了一种新颖的、优化的蒸馏方法。该方法应用于 IWSLT14 de$\rightarrow$en 翻译任务时，达到了最先进的性能，证明了其在推动 NMT 领域发展中的实际有效性。