用于多标签行业板块划分的提示微调嵌入分类

提示微调（Prompt Tuning）正作为一种可扩展且经济高效的方法来微调预训练语言模型（PLM），后者常被称为大语言模型（LLM）。本研究对提示微调和基线方法在多标签文本分类上的性能与计算效率进行了基准评测。该方法应用于将公司分类至某投资公司的专有行业分类体系这一具有挑战性的任务，以支撑其主题投资策略。文本到文本分类常被报道优于任务特定的分类头，但在应用于每个标签由多个词元组成的多标签分类问题时存在若干局限：（a）生成的标签可能与标签分类体系中的任何标签都不匹配；（b）微调过程缺乏排列不变性，且对所给标签的顺序敏感；（c）模型提供二元决策而非合适的置信度分数。局限（a）通过采用基于 Trie 搜索的约束解码来解决，这略微提升了分类性能。局限（a）、（b）和（c）全部通过用分类头替换 PLM 的语言头来解决，称为提示微调嵌入分类（PTEC）。这在显著提升性能的同时，也降低了推理时的计算成本。在我们的工业应用中，训练数据偏向知名公司。我们确认模型在知名与不知名公司上表现一致。我们的总体结果表明，即便在具有强泛化能力的 PLM 时代，仍持续需要将最先进方法适配至特定领域任务。我们在 https://github.com/EQTPartners/PTEC 发布了代码库和基准数据集。