基于大语言模型的多标签序列句子分类
计算与语言
2024-12-02 v2
摘要
科学出版物中的序列句子分类 (SSC) 对支持下游任务（如细粒度信息检索和抽取式摘要）至关重要。然而，当前的 SSC 方法受限于模型规模、序列长度和单标签设置。为克服这些限制，本文提出了 LLM-SSC 框架，基于大语言模型 (LLM) 的框架，用于 single- 和 multi-label SSC 任务。不同于采用小型或中型语言模型的先前方法，本文框架利用 LLM 通过设计的提示生成 SSC 标签，通过包含 demonstration 和 query 以增强任务理解。我们还提出一种带自动加权方案的多标签对比学习损失，以支持 multi-label 分类任务。为支持我们的 multi-label SSC 分析，我们引入并发布了新数据集 biorc800，其中主要包含生物医学领域的非结构化摘要，并具有 manual 标注。实验表明，LLM-SSC 在 both in-context learning 和 task-specific tuning 设置下均表现出色。我们在 https://github.com/ScienceNLP-Lab/LLM-SSC 上发布了 biorc800 和我们的代码。
引用
@article{arxiv.2411.15623,
title = {Multi-label Sequential Sentence Classification via Large Language Model},
author = {Mengfei Lan and Lecheng Zheng and Shufan Ming and Halil Kilicoglu},
journal= {arXiv preprint arXiv:2411.15623},
year = {2024}
}
备注
Accepted by EMNLP 2024 Findings