联合预训练与局部重训练：多源知识图上的可迁移表示学习
计算与语言
2023-06-06 v1 机器学习
摘要
本文提出用于学习和应用多源知识图（KG）嵌入的“联合预训练与局部重训练”框架。我们的动机在于不同 KG 包含互补信息以改进 KG 嵌入及下游任务。我们在链接的多源 KG 上预训练一个大型教师 KG 嵌入模型，并蒸馏知识以训练面向特定任务 KG 的学生模型。为实现跨不同 KG 的知识迁移，我们利用实体对齐构建链接子图，以连接预训练 KG 与目标 KG。该链接子图经过重训练，实现从教师到学生的三级知识蒸馏，即特征知识蒸馏、网络知识蒸馏与预测知识蒸馏，以生成更具表现力的嵌入。教师模型可复用于不同目标 KG 与任务，无需从头训练。我们进行了大量实验以证明框架的有效性与高效性。
引用
@article{arxiv.2306.02679,
title = {Joint Pre-training and Local Re-training: Transferable Representation Learning on Multi-source Knowledge Graphs},
author = {Zequn Sun and Jiacheng Huang and Jinghao Lin and Xiaozhou Xu and Qijin Chen and Wei Hu},
journal= {arXiv preprint arXiv:2306.02679},
year = {2023}
}
备注
Accepted in the 29th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD 2023)