面向领域可适配关键词生成的由通用到专用的迁移标注方法
计算与语言
2023-05-09 v2
摘要
训练关键词生成（KPG）模型需要大量标注数据，这可能极其昂贵且常局限于特定领域。在本研究中，我们首先证明不同领域间的巨大分布偏移会严重阻碍 KPG 模型的迁移能力。随后我们提出一个三阶段流水线，以数据高效的方式逐步引导 KPG 模型的学习重点从通用句法特征转向领域相关语义。通过领域通用短语预训练，我们利用网络上广泛可用的通用短语标注预训练序列到序列模型，使模型能在广泛领域中生成短语。所得模型随后在迁移标注阶段用于生成领域特定伪关键词，帮助模型适配新领域。最后，我们用少量真实标注数据微调模型，使其完全适配目标领域。实验结果表明，所提流程能在新领域生成高质量关键词，并在以有限领域内标注数据适配后取得一致提升。所有代码与数据集见 https://github.com/memray/OpenNMT-kpg-release。
引用
@article{arxiv.2208.09606,
title = {General-to-Specific Transfer Labeling for Domain Adaptable Keyphrase Generation},
author = {Rui Meng and Tong Wang and Xingdi Yuan and Yingbo Zhou and Daqing He},
journal= {arXiv preprint arXiv:2208.09606},
year = {2023}
}
备注
The submission has been accepted to the Findings of ACL 2023