少样本持续关系抽取中语言模型泛化能力的保持
计算与语言
2024-10-02 v1 人工智能
摘要
少样本持续关系抽取（FCRE）是一个新兴且动态的研究领域，其中模型可以顺序地整合来自新关系的知识，且仅使用有限的标注数据，同时规避灾难性遗忘并保留预训练骨干网络中的先验知识。在这项工作中，我们介绍了一种新颖的方法，利用通常被丢弃的语言模型头。通过采用互信息最大化策略使用这些组件，我们的方法有助于保持来自预训练骨干网络的先验知识，并策略性地对齐主分类头，从而提升模型性能。此外，我们探索了以其丰富知识著称的大型语言模型（LLMs）在应对FCRE挑战方面的潜力。我们全面的实验结果强调了所提出方法的有效性，并为未来的工作提供了宝贵的见解。
关键词
引用
@article{arxiv.2410.00334,
title = {Preserving Generalization of Language models in Few-shot Continual Relation Extraction},
author = {Quyen Tran and Nguyen Xuan Thanh and Nguyen Hoang Anh and Nam Le Hai and Trung Le and Linh Van Ngo and Thien Huu Nguyen},
journal= {arXiv preprint arXiv:2410.00334},
year = {2024}
}
备注
Accepted to EMNLP 2024