面向西班牙语高效问答的语言模型知识蒸馏

近年来，预训练西班牙语语言模型的发展已在许多自然语言处理任务（如问答）中取得了显著进展。然而，高效模型的缺乏阻碍了此类模型在资源受限环境中的采用。因此，更小的西班牙语蒸馏模型可能被证明具有高度可扩展性，并促进其在各种任务和场景中的进一步采用。在这项工作中，我们朝这个方向迈出了一步，开发了SpanishTinyRoBERTa，一个基于RoBERTa的压缩语言模型，用于西班牙语的高效问答。为此，我们采用知识蒸馏技术，将大型模型的知识迁移到更轻量的模型上，从而允许更广泛的部署，即使在计算资源有限的区域也能实现，同时性能损失可忽略不计。我们的实验表明，密集蒸馏模型仍能保持其大型对应模型的性能，同时显著提高推理速度。这项工作为进一步研究和探索西班牙语语言模型在各种NLP任务中的模型压缩工作奠定了基础。