SciPrompt：知识增强的科学主题细粒度分类提示
计算与语言
2024-10-04 v1
摘要
基于提示的微调已成为从预训练语言模型中激发信息编码的 essential 方法，适用于包括文本分类在内的各种任务。在多类分类任务中，提示式微调在低资源场景下的表现相当于完全微调方法。以往研究使用精心设计的提示模板和 verbalizer，将标签术语空间映射到类别空间，以将分类问题解决为掩码语言建模任务。然而，跨域和细粒度的提示式微调尚未探索自动丰富 verbalizer 的情况，主要由于手动选择 verbalizer 中领域标签术语需要专业知识且成本高昂。为此，我们提出 SciPrompt 框架，旨在自动检索科学主题相关术语，用于低资源文本分类任务。为此，我们选取在科学文猱语境下语义相关且领域特定的标签术语进行 verbalizer 扩展。进一步，我们提出一种新的 verbalization 策略，利用相关性得分作为额外权重，以增强语言模型在模型调优期间的预测性能。我们的方法在少量和零样本情境下，对科学文本分类任务进行了优于最新提示式微调方法的表现，尤其在细粒度和新兴科学主题的分类方面表现突出。
引用
@article{arxiv.2410.01946,
title = {SciPrompt: Knowledge-augmented Prompting for Fine-grained Categorization of Scientific Topics},
author = {Zhiwen You and Kanyao Han and Haotian Zhu and Bertram Ludäscher and Jana Diesner},
journal= {arXiv preprint arXiv:2410.01946},
year = {2024}
}
备注
EMNLP 2024 Main