面向层次文本分类的推理:以专利为例
计算与语言
2025-10-09 v1
摘要
层次文本分类(HTC)将文档分配到预定义分类法的多个层级。由于领域知识难度大且标签数量庞大,自动化专利主题分类代表了最具挑战性的 HTC 场景之一。先前的方法仅输出一个扁平的标签集,这几乎无法提供对预测背后原因的洞察。因此,我们提出了层次分类推理(RHC),这是一种新颖的框架,将 HTC 重新构建为逐步推理任务,以顺序推导层次标签。RHC 分两个阶段训练大型语言模型(LLM):一个冷启动阶段,使输出与思维链(CoT)推理格式对齐;以及一个强化学习(RL)阶段,以增强多步推理能力。RHC 在我们的实验中展示了四个优势:(1)有效性:RHC 超越了先前的基线,并在准确率和宏 F1 上比监督微调对应方法高出约 3%。(2)可解释性:RHC 在预测前生成自然语言论证,以促进人工审查。(3)可扩展性:RHC 随模型规模扩展良好,与标准微调相比获得了更大的收益。(4)适用性:除专利外,我们进一步证明 RHC 在其他广泛使用的 HTC 基准上达到了最先进的性能,这突显了其广泛的适用性。
引用
@article{arxiv.2510.07167,
title = {Reasoning for Hierarchical Text Classification: The Case of Patents},
author = {Lekang Jiang and Wenjun Sun and Stephan Goetz},
journal= {arXiv preprint arXiv:2510.07167},
year = {2025}
}
备注
15 pages, 10 tables, 3 figures