基于层次化 RNN 的分块结构涌现
计算与语言
2025-12-19 v2
摘要
在自然语言处理（NLP）中，句法结构（如句法分析与分块）的预测大多依赖人工标注的句法结构。本文提出一种无监督分块方法，该句法任务以非层次方式对词进行分组。我们提出一种层次化循环神经网络（HRNN），用于建模词到块与块到句的组合。我们的方法包含两阶段训练：使用无监督句法分析器进行预训练，并在下游 NLP 任务上微调。在多个数据集上的实验显示，无监督分块性能在预训练与微调阶段均有显著提升。有趣的是，我们观察到分块结构在神经网络下游任务训练期间是短暂涌现的。本研究推动了无监督句法结构发现的发展，并为语言学理论的进一步研究开辟了途径。
引用
@article{arxiv.2309.04919,
title = {The Emergence of Chunking Structures with Hierarchical RNN},
author = {Zijun Wu and Anup Anand Deshmukh and Yongkang Wu and Jimmy Lin and Lili Mou},
journal= {arXiv preprint arXiv:2309.04919},
year = {2025}
}
备注
Published in Computational Linguistics