基于有意义标签推断的统一语义类型标注
计算与语言
2022-05-05 v1
摘要
语义类型标注旨在将文本上下文中感兴趣的词元或片段分类为语义类别，如关系、实体类型和事件类型。所推断的语义类别标签有意义地解释机器如何理解文本的组成部分。本文提出UniST，一种统一的语义类型标注框架，通过将输入和标签投影到联合语义嵌入空间来捕捉标签语义。为将不同的词汇与关系语义类型标注任务表述为统一任务，我们引入任务描述与输入联合编码，使UniST无需引入任务特定模型组件即可适配不同任务。UniST优化一个间隔排序损失，使输入与标签的语义相关性由其嵌入相似度反映。我们的实验表明，UniST在三项语义类型标注任务——实体类型标注、关系分类和事件类型标注——上均取得强劲性能。同时，UniST有效迁移标签的语义知识，并显著提升了推断极少出现及未出现类型的泛化能力。此外，多个语义类型标注任务可在统一框架内联合训练，得到一个紧凑的单多任务模型，其性能可与专用的单任务模型相媲美，且具备更好的可迁移性。
引用
@article{arxiv.2205.01826,
title = {Unified Semantic Typing with Meaningful Label Inference},
author = {James Y. Huang and Bangzheng Li and Jiashu Xu and Muhao Chen},
journal= {arXiv preprint arXiv:2205.01826},
year = {2022}
}
备注
NAACL 2022