面向少样本层次文本分类的检索式上下文学习
计算与语言
2024-07-02 v2
摘要
层次文本分类（HTC）是一项具有广泛应用的重要任务，而少样本HTC近年来日益受到关注。尽管基于大语言模型（LLM）的上下文学习（ICL）在少样本学习中取得了显著成功，但由于层次标签集庞大且标签间高度模糊，ICL在HTC任务上效果不佳。在本工作中，我们首次提出了一个基于LLM的ICL框架用于少样本HTC。我们利用一个检索数据库来识别相关的示例，并采用一个迭代策略来管理多层层次标签。特别地，我们为检索数据库配备了针对输入文本的HTC标签感知表示，这是通过在预训练语言模型上进行持续训练实现的，训练目标包括掩码语言建模（MLM）、逐层分类（CLS，专门针对HTC）以及一种新颖的发散对比学习（DCL，主要针对语义相近的相邻标签）目标。在三个基准数据集上的实验结果表明，我们的方法具有优越的性能，并在少样本HTC任务上达到了最先进水平。
引用
@article{arxiv.2406.17534,
title = {Retrieval-style In-Context Learning for Few-shot Hierarchical Text Classification},
author = {Huiyao Chen and Yu Zhao and Zulong Chen and Mengjia Wang and Liangyue Li and Meishan Zhang and Min Zhang},
journal= {arXiv preprint arXiv:2406.17534},
year = {2024}
}
备注
17 pages