SEKE：用于关键词提取的专门专家混合
计算与语言
2025-10-14 v2 人工智能
摘要
关键词提取涉及识别文档中最具描述性的词语，从而实现对大量多样化文本数据的自动分类和摘要。基于现实世界中的关键词检测通常需要处理多样化内容这一见解，我们提出了一种基于混合专家（MoE）技术的新型监督式关键词提取方法。MoE使用可学习的路由子网络将信息导向专门的专家，使它们能够专注于输入空间的不同区域。SEKE（监督式关键词提取的专门专家混合）使用DeBERTa作为骨干模型，并建立在MoE框架之上，其中专家关注每个标记，通过将其与双向长短期记忆（BiLSTM）网络集成，即使在较小的语料库上也能成功提取，因为缺乏训练数据使得专门化更加困难。MoE框架还提供了对单个专家内部运作的洞察，增强了方法的可解释性。我们在多个英文数据集上对SEKE进行了基准测试，与强大的监督和无监督基线相比，实现了最先进的性能。我们的分析表明，根据数据大小和类型，专家专门处理不同的句法和语义成分，如标点符号、停用词、词性或命名实体。代码可在https://github.com/matejMartinc/SEKE_keyword_extraction获取。
引用
@article{arxiv.2412.14087,
title = {SEKE: Specialised Experts for Keyword Extraction},
author = {Matej Martinc and Hanh Thi Hong Tran and Senja Pollak and Boshko Koloski},
journal= {arXiv preprint arXiv:2412.14087},
year = {2025}
}