面向移动平台的轻量级 Transformer 编码器的多任务预微调用于文本分类和命名实体识别
计算与语言
2025-10-10 v1 人工智能
摘要
在移动平台上部署自然语言处理 (NLP) 模型需要能够在保持高效内存和计算资源的同时适应多样化的应用。我们研究了预微调策略以增强类似 BERT 的轻量级编码器在两个基本 NLP 任务族（命名实体识别 (NER) 和文本分类）中的适应性。虽然预微调在每个任务族单独使用时会提高下游性能，但我们发现简单的多任务预微调会引入冲突的优化信号，导致整体性能下降。为解决这一问题，我们提出了一种基于任务主导的 LoRA 模块的简单而有效的多任务预微调框架，实现了单个共享编码器主干网络与模块化适配器的集成。我们的 approach 在满足实际部署约束条件的同时，实现了与单独预微调相当的性能。在 21 个下游任务上的实验显示，我们的方法在 NER 上实现平均提升 +0.8%，在文本分类上实现平均提升 +8.8%，展示了该方法在灵活的移动 NLP 应用中的有效性。
关键词
引用
@article{arxiv.2510.07566,
title = {Multi-Task Pre-Finetuning of Lightweight Transformer Encoders for Text Classification and NER},
author = {Junyi Zhu and Savas Ozkan and Andrea Maracani and Sinan Mutlu and Cho Jung Min and Mete Ozay},
journal= {arXiv preprint arXiv:2510.07566},
year = {2025}
}
备注
Accepted by EMNLP 2025 Industry Track