面向持续关系抽取的一致表示学习方法

持续关系抽取（CRE）旨在持续地在具有新关系的数据上训练模型，同时避免遗忘旧关系。一些先前工作已证明，存储少量旧关系的典型样本并在学习新关系时回放，可有效避免遗忘。然而，这些基于记忆的方法往往过拟合记忆样本，且在非平衡数据集上表现不佳。为解决这些挑战，本文提出一种一致表示学习方法，在回放记忆时通过采用对比学习和知识蒸馏来维持关系嵌入的稳定性。具体而言，首先基于记忆库的监督对比学习用于训练每个新任务，使模型能有效学习关系表示。随后，对记忆中的样本进行对照回放（contrastive replay），并通过记忆知识蒸馏使模型保留历史关系的知识，以防止旧任务的灾难性遗忘。所提方法能更好地学习一致表示，从而有效缓解遗忘。在 FewRel 和 TACRED 数据集上的大量实验表明，我们的方法显著优于当前最优基线，并在非平衡数据集上表现出强鲁棒性。