HILL：面向层次文本分类的层次感知信息无损对比学习

自然语言处理（NLP）中现有的自监督方法，尤其是层次文本分类（HTC），主要侧重于自监督对比学习，极度依赖人工设计的增强规则来生成对比样本，这可能会破坏或扭曲原始信息。本文旨在探究一种对比学习方案的可行性，该方案中，输入样本固有的语义和句法信息在对比样本中得到充分保留，并在学习过程中进行融合。具体而言，我们提出了一种用于 HTC 的信息无损对比学习策略，名为层次感知信息无损对比学习（HILL），它由一个表示输入文档的文本编码器和一个直接生成正样本的结构编码器组成。结构编码器以文档嵌入为输入，基于结构熵最小化原理提取标签层次结构中固有的基本句法信息，并通过层次表示学习将句法信息注入文本表示。我们在三个常用数据集上进行了实验，以验证 HILL 的优越性。