桥接生成式与判别式学习：基于两阶段知识引导的少样本关系抽取
计算与语言
2025-05-20 v1 人工智能
机器学习
摘要
少样本关系抽取（Few-Shot Relation Extraction, FSRE）因标注数据稀缺及现有模型泛化能力受限而仍具挑战性。虽然大语言模型（LLMs）通过基于上下文学习（In-Context Learning, ICL）在FSRE中展现出潜力，但其通用训练目标常导致针对特定关系抽取任务的次优性能。为克服此问题，本文提出TKRE（Two-Stage Knowledge-Guided Pre-training for Relation Extraction），一种新型框架，协同集成LLMs与传统关系抽取模型，实现生成式与判别式学习范式的联结。TKRE的核心创新包括：（1）利用LLMs生成解释驱动的知识及模式约束的合成数据，解决数据稀缺问题；（2）采用掩码片段语言建模（Masked Span Language Modeling, MSLM）与片段级对比学习（Span-Level Contrastive Learning, SCL）的两阶段预训练策略，增强关系推理与泛化能力。综合这些组件，TKRE能有效应对FSRE任务。基准数据集上的全面实验表明，TKRE取得了FSRE的新型状态（SOTA）性能，凸显其在低资源场景中的广泛应用潜力。\footnote{代码与数据已发布于 https://github.com/UESTC-GQJ/TKRE。
引用
@article{arxiv.2505.12236,
title = {Bridging Generative and Discriminative Learning: Few-Shot Relation Extraction via Two-Stage Knowledge-Guided Pre-training},
author = {Quanjiang Guo and Jinchuan Zhang and Sijie Wang and Ling Tian and Zhao Kang and Bin Yan and Weidong Xiao},
journal= {arXiv preprint arXiv:2505.12236},
year = {2025}
}
备注
13 pages, 6 figures, Appear on IJCAI 2025