基于掩码生成特征方法的渐进式蒸馏用于知识图谱补全
计算与语言
2024-06-11 v2
摘要
近年来，基于预训练语言模型（PLM）的知识图谱补全（KGC）模型展现出令人瞩目的成果。然而，PLM 模型庞大的参数量和高昂的计算成本为其在下游任务中的应用带来了挑战。本文针对 KGC 任务，提出了一种基于掩码生成特征的渐进式蒸馏方法，旨在显著降低预训练模型的复杂度。具体而言，我们对 PLM 进行预蒸馏以获得高质量的教师模型，并压缩 PLM 网络以获得多层级的学生模型。然而，传统的特征蒸馏存在教师模型中信息表征单一的局限性。为解决此问题，我们提出了教师-学生特征的掩码生成方法，其包含更丰富的表征信息。此外，教师与学生之间的表征能力存在显著差距。因此，我们设计了一种渐进式蒸馏方法，对每个层级的学生模型进行蒸馏，从而实现从教师到学生的高效知识迁移。实验结果表明，预蒸馏阶段的模型超越了现有的最先进方法。此外，在渐进式蒸馏阶段，模型在保持一定性能水平的同时，显著减少了模型参数。具体而言，低层级学生模型的参数量相比基线减少了 56.7%。
引用
@article{arxiv.2401.12997,
title = {Progressive Distillation Based on Masked Generation Feature Method for Knowledge Graph Completion},
author = {Cunhang Fan and Yujie Chen and Jun Xue and Yonghui Kong and Jianhua Tao and Zhao Lv},
journal= {arXiv preprint arXiv:2401.12997},
year = {2024}
}
备注
Accepted by AAAI2024