面向罗马尼亚尔-英语代码混合文本的QLoRA 微调大语言模型
计算与语言
2025-10-13 v2
摘要
在采用代码混合的语言中使用侮辱性术语（如罗马尼亚尔语），由于未声明的语法、不一致的拼写以及标注数据稀缺，自然语言处理系统面临挑战。本文提出一种基于 QLoRA 的微调框架，用于改进罗马尼亚尔-英语文本中的侮辱语言检测。我们将罗马尼亚尔-英语代码混合数据集翻译成英文，以利用英文 LLM，同时承认此翻译减少了对代码混合特征的直接互动。我们的关注点是使用英文翻译后的低资源输入的分类性能。我们对多种转换模型和大型语言模型（包括 Meta LLaMA 3 8B、Mistral 7B v0.1、LLaMA 2 7B、ModernBERT 和 RoBERTa）进行 QLoRA 微调，以实现内存高效的适配。在手动标注的罗马尼亚尔数据集上训练和评估了模型，用于区分侮辱性与非侮辱性内容。经过测试的所有模型中，Meta LLaMA 3 8B 获得了最高的 F1 分数 91.45，其次是 Mistral 7B 以 89.66，超越了传统转换基线。这些结果表明 QLoRA 在针对低资源环境（如代码混合侮辱语言检测）中微调高性能模型方面具有有效性，并确认了 LLM 为此任务的潜力。本工作推动了罗马尼亚尔社区审查的可扩展方法，为基于 LLM 的未来多语言侮辱检测系统铺平了道路。
引用
@article{arxiv.2510.03683,
title = {Fine-Tuning Large Language Models with QLoRA for Offensive Language Detection in Roman Urdu-English Code-Mixed Text},
author = {Nisar Hussain and Amna Qasim and Gull Mehak and Muhammad Zain and Momina Hafeez and Grigori Sidorov},
journal= {arXiv preprint arXiv:2510.03683},
year = {2025}
}
备注
25 pages, 22 figures