小模型胜过大模型：比较大型语言模型与领域微调模型在代码混合印地语文本中的讽刺检测
计算与语言
2026-02-26 v1
摘要
由于结构变化、非正式表达和低资源语言可用性，多语言和代码混合环境中的讽刺检测对自然语言处理模型来说仍然是一项具有挑战性的任务。本研究比较了四个大型语言模型（Llama 3.1、Mistral、Gemma 3和Phi-4）与一个微调的DistilBERT模型在代码混合印地语文本中的讽刺检测性能。结果表明，较小的、顺序微调的DistilBERT模型实现了84%的最高总体准确率，在零样本和少样本设置中均优于所有LLM，且仅使用了用于微调的最少量LLM生成的代码混合数据。这些发现表明，在低资源和数据稀缺的设置中，对基于Transformer的较小模型进行领域自适应微调，可能比通用LLM推理显著提高讽刺检测性能。
引用
@article{arxiv.2602.21933,
title = {Small Wins Big: Comparing Large Language Models and Domain Fine-Tuned Models for Sarcasm Detection in Code-Mixed Hinglish Text},
author = {Bitan Majumder and Anirban Sen},
journal= {arXiv preprint arXiv:2602.21933},
year = {2026}
}