RulePrompt:利用提示预训练语言模型与自迭代逻辑规则的弱监督文本分类
计算与语言
2024-04-26 v2
摘要
弱监督文本分类 (WSTC),也称为零样本或无数据文本分类,因其在动态开放的 Web 环境中分类大量文本的适用性而受到越来越多的关注,因为它仅需每类有限的种子词(标签名称)而非标注数据。在最近流行的提示预训练语言模型 (PLMs) 的帮助下,许多研究利用手动构建和/或自动识别的 verbalizer 来估计类别的可能性,但它们未能区分这些类别指示词的效果,更不用说捕捉它们的相关性并根据未标注语料库实现自适应调整。在本文中,为了让 PLM 有效理解每个类别,我们首先提出了一种使用逻辑表达式表征类别含义的新型基于规则的知识形式。随后,我们开发了一种名为 RulePrompt 的基于提示 PLM 的 WSTC 任务方法,包含一个规则挖掘模块、一个规则增强的伪标签生成模块,以及一个使 PLM 与该任务对齐的自监督微调模块。在此框架内,分配给文本的不准确伪标签与与类别相关的不精确逻辑规则以交替方式相互增强。这建立了一个以种子词为起点的知识(规则)获取与利用的自迭代闭环。大量实验验证了我们方法的有效性和鲁棒性,其显著优于最先进的弱监督方法。此外,我们的方法产生了可解释的类别规则,证明了其在消歧易混淆类别方面的优势。
引用
@article{arxiv.2403.02932,
title = {RulePrompt: Weakly Supervised Text Classification with Prompting PLMs and Self-Iterative Logical Rules},
author = {Miaomiao Li and Jiaqi Zhu and Yang Wang and Yi Yang and Yilin Li and Hongan Wang},
journal= {arXiv preprint arXiv:2403.02932},
year = {2024}
}
备注
Accepted by WWW 2024