TiME：用于高效 NLP 管道的微型单语编码器
计算与语言
2025-12-17 v1 机器学习
摘要
当今大量研究聚焦于大型通用语言模型。然而，许多 NLP 管道只需要具备明确小型能力集合的模型。虽然大型模型能够执行这些小型模型的任务，但它们simply not fast enough to process large amounts of data or offer real-time responses。此外，它们常常使用不必要的大量能源，导致可持续性问题以及在电池供电设备上部署时出现困难。我们展示了如何训练小型模型以满足此类能效关键型应用。与许多即插即用 NLP 管道不同，我们的模型使用现代训练技术，如知识蒸馏，并支持低资源语言.我们称我们的模型为 TiME（Tiny Monolingual Encoders），并全面评估它们在广泛常见 NLP 任务上的表现，观察到在基准性能、吞吐量、延迟和能耗消耗之间实现了改进的权衡。顺便我们展示了从多语言教师蒸馏单语模型是可能的，同样也从具有绝对位置嵌入的教师蒸馼到相对位置嵌入的模型。
引用
@article{arxiv.2512.14645,
title = {TiME: Tiny Monolingual Encoders for Efficient NLP Pipelines},
author = {David Schulmeister and Valentin Hartmann and Lars Klein and Robert West},
journal= {arXiv preprint arXiv:2512.14645},
year = {2025}
}