利用仅编码器预训练语言模型实现高效关键短语生成
计算与语言
2024-02-23 v1
摘要
本研究探讨了在关键短语生成 (KPG) 中应用仅编码器预训练语言模型 (PLM)，相较于编码器 - 解码器模型，特定领域的仅编码器模型更为广泛可用。我们调查了三个核心问题：(1) 仅编码器 PLM 在 KPG 中的有效性，(2) 在 KPG 中采用仅编码器 PLM 的最佳架构决策，以及 (3) 在不同资源设置下，领域内仅编码器与编码器 - 解码器 PLM 之间的性能比较。我们在两个领域进行的广泛实验得出的发现表明，对于仅编码器 PLM，虽然带有条件随机场的 KPE 在识别现存关键短语方面略胜一筹，但 KPG 公式能提供更广泛的关键短语预测谱。此外，仅编码器 PLM 的前缀 LM 微调成为 KPG 的一种强大且数据高效的策略，优于通用领域的 seq2seq PLM。我们还发现，在使用仅编码器 PLM 初始化的编码器 - 解码器架构时，将参数分配倾向于模型深度而非宽度更为有利。本研究阐明了利用仅编码器 PLM 推进 KPG 系统的潜力，并为未来的 KPG 方法奠定了基础。我们的代码和预训练检查点已发布在 https://github.com/uclanlp/DeepKPG。
引用
@article{arxiv.2402.14052,
title = {On Leveraging Encoder-only Pre-trained Language Models for Effective Keyphrase Generation},
author = {Di Wu and Wasi Uddin Ahmad and Kai-Wei Chang},
journal= {arXiv preprint arXiv:2402.14052},
year = {2024}
}
备注
LREC-COLING 2024 camera ready. arXiv admin note: text overlap with arXiv:2212.10233