具有独立左、右生成的简单硬件高效PCFG
计算与语言
2023-10-24 v1 机器学习
摘要
通过规则概率张量的低秩参数化将稠密PCFG扩展到数千个非终结符，已被证明有益于无监督句法分析。然而，以此方式扩展的PCFG作为语言模型仍表现不佳，甚至不及同等规模的HMM。本文引入\emph{SimplePCFG}，一种具有独立左、右生成的简单PCFG形式。尽管比低秩方法施加了更强的独立性假设，我们发现该形式作为语言模型和作为无监督分析器都能更有效地扩展。作为无监督分析器，我们的简单PCFG在英语PTB上获得65.1的平均F1；作为语言模型，其获得119.0的困惑度，优于同等规模的低秩PCFG。我们进一步引入\emph{FlashInside}，一种硬件IO感知的inside算法实现，用于高效扩展简单PCFG。
引用
@article{arxiv.2310.14997,
title = {Simple Hardware-Efficient PCFGs with Independent Left and Right Productions},
author = {Wei Liu and Songlin Yang and Yoon Kim and Kewei Tu},
journal= {arXiv preprint arXiv:2310.14997},
year = {2023}
}
备注
Accepted to Findings of EMNLP, 2023