通过迭代推理链实现少样本层次文本分类的领域层次适应
计算与语言
2024-07-15 v1
摘要
近年来，各种预训练语言模型(PLMs)已被提出，并在广泛的少样本任务上证明了其令人印象深刻的性能。然而，受限于PLMs中非结构化的先验知识，在复杂的结构化场景（如层次文本分类(HTC)）中难以保持一致的性能，尤其是在下游数据极度稀缺的情况下。主要挑战在于如何将PLMs中的非结构化语义空间转移到下游的领域层次结构中。与以往直接执行多标签分类或使用图神经网络(GNN)注入标签层次结构的HTC工作不同，在本工作中，我们研究少样本设置下的HTC问题，以将PLMs中的知识以非结构化方式适应到下游层次结构中。在技术上，我们设计了一种简单而有效的方法，名为层次迭代条件随机场(HierICRF)，用于搜索最具领域挑战性的方向，并巧妙地将领域层次适应构建为一个层次迭代语言建模问题，然后鼓励模型在推理过程中进行层次一致性自我修正，从而实现具有层次一致性保持的知识迁移。我们在各种架构上执行HierICRF，在两个流行的HTC数据集上进行的大量实验表明，在少样本设置下，使用HierICRF的提示(prompt)显著提升了少样本HTC性能，平均Micro-F1比之前的最先进(SOTA)基线提高了28.80%至1.50%，Macro-F1提高了36.29%至1.5%，同时保持了SOTA的层次一致性性能。
引用
@article{arxiv.2407.08959,
title = {Domain-Hierarchy Adaptation via Chain of Iterative Reasoning for Few-shot Hierarchical Text Classification},
author = {Ke Ji and Peng Wang and Wenjun Ke and Guozheng Li and Jiajun Liu and Jingsheng Gao and Ziyu Shang},
journal= {arXiv preprint arXiv:2407.08959},
year = {2024}
}
备注
9 pages, 2 figures, Accepted by IJCAI2024