HiLight：一种层次感知的轻量全局模型与层次局部对比学习
计算与语言
2024-08-13 v1
摘要
层次化文本分类（HTC）是多标签分类（MLC）的一个特殊子任务，其分类体系构建为树结构，每个样本被分配至少一条树路径。最新的 HTC 模型包含三个模块：文本编码器、结构编码器和多标签分类头。特别地，结构编码器用于编码分类体系的层次结构。然而，结构编码器存在规模问题。随着分类体系规模的增大，近期 HTC 工作中可学习参数的增长速度很快。递归正则化是另一种广泛使用的引入层次信息的方法，但它存在崩溃问题，通常通过赋予较小权重（即 1e-6）来缓解。在本文中，我们提出了一种层次感知的轻量全局模型与层次局部对比学习（HiLight），该模型仅由文本编码器和多标签分类头组成，是一种轻量高效的全局模型。我们提出了一种新的学习任务来引入层次信息，称为层次局部对比学习（HiLCL）。在两个基准数据集上进行了大量实验以证明我们模型的有效性。
引用
@article{arxiv.2408.05786,
title = {HiLight: A Hierarchy-aware Light Global Model with Hierarchical Local ConTrastive Learning},
author = {Zhijian Chen and Zhonghua Li and Jianxin Yang and Ye Qi},
journal= {arXiv preprint arXiv:2408.05786},
year = {2024}
}