通过分类器分解增强持续关系抽取
计算与语言
2023-05-09 v1
摘要
持续关系抽取（CRE）模型旨在处理涌现的新关系，同时避免对流式数据中旧关系的灾难性遗忘。尽管以往的 CRE 研究已显示出改进，但它们大多在模型首次学习新关系表示时仅采用一种朴素策略。在本工作中，我们指出该朴素策略训练后存在两种典型偏差：分类器偏差和表示偏差，这导致模型已学到的先前知识被掩盖。为缓解这些偏差，我们提出了一种简单而有效的分类器分解框架，将最后的 FFN 层拆分为分离的先前分类器和当前分类器，从而在此训练阶段保持先前知识并鼓励模型学习更鲁棒的表示。在两个标准基准上的实验结果表明，我们提出的框架持续优于最先进的 CRE 模型，这表明首次训练阶段对 CRE 模型的重要性可能被低估了。我们的代码可在 https://github.com/hemingkx/CDec 获取。
引用
@article{arxiv.2305.04636,
title = {Enhancing Continual Relation Extraction via Classifier Decomposition},
author = {Heming Xia and Peiyi Wang and Tianyu Liu and Binghuai Lin and Yunbo Cao and Zhifang Sui},
journal= {arXiv preprint arXiv:2305.04636},
year = {2023}
}
备注
Accepted to Findings of ACL 2023