CoT 驱动的短文本分类框架：增强并将能力从大模型迁移到小模型
计算与语言
2025-01-22 v2 人工智能
摘要
短文本分类（STC）对于处理和理解当代数字平台上普遍存在但内容丰富的简短内容至关重要。STC 在把握语义和句法复杂性方面遇到困难，这一问题在传统的预训练语言模型中显而易见。尽管图卷积网络通过整合外部知识库来提升性能，但这些方法受限于所应用知识的质量和范围。最近，大语言模型（LLMs）和思维链（CoT）的出现显著提高了复杂推理任务的性能。然而，一些研究强调了它们在基础 NLP 任务中应用的局限性。因此，本研究首先采用 CoT 来探究并增强 LLMs 在 STC 任务中的能力。我们提出了句法与语义丰富思维链（SSE-CoT）方法，有效地将 STC 任务分解为四个不同的步骤：(i) 核心概念识别，(ii) 常识知识检索，(iii) 文本重写，以及 (iv) 分类。此外，认识到金融和医疗保健等领域的资源限制，我们随后引入了 CoT 驱动的多任务学习（CDMT）框架，将这些能力扩展到较小的模型。该框架首先从 LLMs 中提取推理依据，随后微调较小的模型以优化其性能。在六个短文本基准上的广泛实验验证了所提出方法的有效性。特别是，SSE-CoT 在所有数据集上都取得了最先进的性能，并有显著提升，尤其是在 Ohsumed 和 TagMyNews 数据集上。
引用
@article{arxiv.2401.03158,
title = {CoT-Driven Framework for Short Text Classification: Enhancing and Transferring Capabilities from Large to Smaller Model},
author = {Hui Wu and Yuanben Zhang and Zhonghe Han and Yingyan Hou and Lei Wang and Siye Liu and Qihang Gong and Yunping Ge},
journal= {arXiv preprint arXiv:2401.03158},
year = {2025}
}
备注
Knowledge-Based Systems