AdaptKeyBERT:一种基于注意力机制的 KeyBERT 少样本与零样本领域自适应方法
计算与语言
2022-11-17 v2 机器学习
摘要
关键词抽取一直是现代自然语言处理的重要课题,其应用涵盖本体生成、摘要文本中的事实核查以及推荐系统等领域。尽管其在数据密集型应用中表现显著,但在数据集较小时往往受限。关键词抽取器的下游训练过程冗长,且需要大量数据。近来,少样本学习(FSL)与零样本学习(ZSL)被提出以应对该问题。因此,我们提出 AdaptKeyBERT,一种利用 LLM 基座、将正则化注意力概念融入预训练阶段以实现下游领域自适应的关键词抽取器训练流水线。鉴于我们的工作可应用于 FSL/ZSL 与关键词抽取的流水线中,我们将代码开源,并在 https://github.com/AmanPriyanshu/AdaptKeyBERT 提供同名微调库 AdaptKeyBERT。
引用
@article{arxiv.2211.07499,
title = {AdaptKeyBERT: An Attention-Based approach towards Few-Shot & Zero-Shot Domain Adaptation of KeyBERT},
author = {Aman Priyanshu and Supriti Vijay},
journal= {arXiv preprint arXiv:2211.07499},
year = {2022}
}