用于神经机器翻译领域自适应的剪枝再扩展模型

领域自适应广泛应用于神经机器翻译的实际应用中，旨在通用领域和领域内均取得良好性能。然而，现有的领域自适应方法通常面临灾难性遗忘、领域差异和模型膨胀的问题。为解决这三个问题，我们提出了一种基于翻译模型中神经元或参数重要性的“分而治之”方法。在我们的方法中，我们首先对模型进行剪枝，仅保留重要的神经元或参数，使其负责通用领域和领域内的翻译。然后我们在知识蒸馏方法的监督下，使用原始未剪枝模型进一步训练剪枝后的模型。最后我们将模型扩展到原始大小，并对新增参数进行领域内翻译的微调。我们在不同语言和领域上进行了实验，结果表明与多个强基线相比，我们的方法能取得显著提升。