基于 LLM 回溯生成树库对比学习的跨领域成分句法分析
计算与语言
2025-05-28 v1
摘要
由于可用的多领域成分句法树库有限，跨领域成分句法分析仍然是计算语言学中一个未解决的挑战。本文研究了由大型语言模型（LLMs）进行的自动树库生成。LLMs 在成分句法分析上的表现较差，因此我们提出了一种新颖的树库生成方法——LLM 回溯生成，该方法类似于成分句法分析的逆过程。LLM 回溯生成以仅包含领域关键词叶子节点的不完整跨领域成分树作为输入，并填充缺失的单词以生成跨领域成分句法树库。此外，我们还引入了一种跨度级对比学习预训练策略，以充分利用 LLM 回溯生成树库进行跨领域成分句法分析。我们在 MCTB 的五个目标领域上验证了我们的 LLM 回溯生成树库结合对比学习预训练的有效性。实验结果表明，与各种基线相比，我们的方法在平均结果上取得了 SOTA 性能。
引用
@article{arxiv.2505.20976,
title = {Contrastive Learning on LLM Back Generation Treebank for Cross-domain Constituency Parsing},
author = {Peiming Guo and Meishan Zhang and Jianling Li and Min Zhang and Yue Zhang},
journal= {arXiv preprint arXiv:2505.20976},
year = {2025}
}
备注
Accepted by ACL 2025 main conference