用于跨语言时序知识图谱推理的互步调知识蒸馏
机器学习
2023-03-28 v1 人工智能
计算与语言
社会与信息网络
摘要
本文研究跨语言时序知识图谱推理问题，旨在通过从高资源语言时序知识图谱 (TKG) 迁移知识，促进低资源语言 TKG 上的推理。鉴于现有推理方法在那些严重不完整的 TKG 上（尤其是低资源语言中）表现不佳，跨 TKG 的跨语言蒸馏能力变得愈发关键。然而，这在两方面带来巨大挑战。首先，作为知识迁移桥梁的跨语言对齐通常过于稀少，难以在两个 TKG 间迁移充足知识。其次，对齐实体的时序知识差异（尤其当对齐不可靠时）会误导知识蒸馏过程。我们相应提出一种互步调知识蒸馏模型 MP-KD，其中在源 TKG 上训练的教师网络可通过对齐模块引导目标 TKG 上学生网络的训练。具体而言，为应对稀少问题，MP-KD 基于我们表示模块提取的时序信息生成 TKG 间的伪对齐。为最大化知识迁移效能并控制时序知识差异带来的噪声，我们为 MP-KD 增强一种时序跨语言注意力机制以动态估计对齐强度。这两个过程随模型训练互步调。在 EventKG 基准上十二个跨语言 TKG 迁移任务的广泛实验证明了所提 MP-KD 方法的有效性。
引用
@article{arxiv.2303.14898,
title = {Mutually-paced Knowledge Distillation for Cross-lingual Temporal Knowledge Graph Reasoning},
author = {Ruijie Wang and Zheng Li and Jingfeng Yang and Tianyu Cao and Chao Zhang and Bing Yin and Tarek Abdelzaher},
journal= {arXiv preprint arXiv:2303.14898},
year = {2023}
}
备注
This paper is accepted by The Web Conference 2023