基于神经成对条件随机场建模标签关联性的超细实体类型标注
计算与语言
2022-12-06 v1
摘要
超细实体类型标注（UFET）旨在预测能够准确描述句子中给定实体指称类别的广泛类型短语。近期多数工作独立推断每个实体类型，忽略了类型间的关联性，例如当实体被推断为总统时，它也应当是被推断为政治家和领导者。为此，我们使用一种称为成对条件随机场（PCRF）的无向图模型来形式化 UFET 问题，其中类型变量不仅受到输入的一元影响，还与其他所有类型变量成对相关。我们使用多种现代骨干网络进行实体类型标注以计算一元势，并从类型短语表示中导出成对势，这些表示既捕获了先验语义信息又便于加速推断。我们使用平均场变分推断在非常大的类型集合上进行高效类型推断，并将其展开为一个神经网络模块以实现端到端训练。在 UFET 上的实验表明，Neural-PCRF 以极小的代价持续优于其骨干网络，并与基于交叉编码器的 SOTA 取得有竞争力的性能，同时快数千倍。我们还发现 Neural-PCRF 在具有较小类型集合的广泛使用的细粒度实体类型标注数据集上同样有效。我们将 Neural-PCRF 封装为一个可轻松插入多标签类型分类器的网络模块，并在 https://github.com/modelscope/adaseq/tree/master/examples/NPCRF 发布。
引用
@article{arxiv.2212.01581,
title = {Modeling Label Correlations for Ultra-Fine Entity Typing with Neural Pairwise Conditional Random Field},
author = {Chengyue Jiang and Yong Jiang and Weiqi Wu and Pengjun Xie and Kewei Tu},
journal= {arXiv preprint arXiv:2212.01581},
year = {2022}
}
备注
12 pages