重新审视从预训练语言模型抽取成分句法树的实用有效性
计算与语言
2022-11-02 v1
摘要
从预训练语言模型抽取成分句法树（CPE-PLM）是一种近期范式，试图仅依赖预训练语言模型的内部知识来诱导成分句法树。尽管从类同上下文学习、无需任务特定微调的角度看颇具吸引力，但除可作为探究语言模型内部运作的探针外，该方法的实际有效性仍不明确。本工作中，我们对CPE-PLM进行数学重构，并提出两种为其定制的先进集成方法，通过引入一组异构PLM并运用我们的技术组合，证明这一新解析范式可与常见无监督解析器相竞争。此外，我们探索了CPE-PLM生成的树在实际中有用的若干场景。具体而言，我们展示在少样本设定下CPE-PLM比典型有监督解析器更有效。
引用
@article{arxiv.2211.00479,
title = {Revisiting the Practical Effectiveness of Constituency Parse Extraction from Pre-trained Language Models},
author = {Taeuk Kim},
journal= {arXiv preprint arXiv:2211.00479},
year = {2022}
}
备注
COLING 2022