基于元数据驱动的多阶段演化模型合并与情感专用大语言模型课程学习
计算与语言
2026-01-13 v1 人工智能
摘要
大型语言模型（LLM）的出现显著变革了自然语言处理（NLP），使更通用的模型能够以最小训练量完成各种任务。然而，传统情感分析方法侧重于单一任务（如情感分类或方面基准分析），难以适用于需要处理多个任务的实际应用。尽管LLM在情感特定任务中提供了灵活性，但往往难以达到所需的准确度。通过微调和演化模型合并有助于将模型整合到统一框架中，既可提升学习性能，又可降低计算成本。关于利用任务元数据和课程学习优化学习过程的探索仍不足，而情感分析是需要高准确度并在多个子任务中具备可扩展性的关键NLP任务。本研究提出一种混合学习模型，称为Multi-stage Evolutionary Model Merging with Meta data driven Curriculum Learning（MEM-MCL），以增强大语言建模中的情感分析。具体而言，通过指令微调针对特定情感任务创建专家模型，然后通过演化算法进行合并，以形成统一模型。合并过程通过弱数据进行优化，以提升跨任务性能。将课程学习融入以任务难度为依据的学习序列，提高了从LLM中提取知识的效果。实验结果表明，所提出的MEM-MCL模型在多数情感分析任务中优于传统LLM，实现了各子任务的卓越成绩。
引用
@article{arxiv.2601.06780,
title = {Multi-Stage Evolutionary Model Merging with Meta Data Driven Curriculum Learning for Sentiment-Specialized Large Language Modeling},
author = {Keito Inoshita and Xiaokang Zhou and Akira Kawai},
journal= {arXiv preprint arXiv:2601.06780},
year = {2026}
}
备注
This paper was presented at the 10th IEEE International Conference on Data Science and Systems in December 2024 and is awaiting publication