Distill2Vec:基于知识蒸馏的动态图表示学习
机器学习
2020-11-12 v1 人工智能
摘要
动态图表示学习策略基于不同的神经架构来捕捉图随时间的演化。然而,底层神经架构需要大量参数进行训练,并且存在较高的在线推理延迟,即当新数据在线到达时必须更新若干模型参数。在本研究中,我们提出 Distill2Vec,一种知识蒸馏策略,用于训练具有少量可训练参数的紧凑模型,从而降低在线推理延迟并保持模型高精度。我们设计了一种基于 Kullback-Leibler 散度的蒸馏损失函数,将教师模型在离线数据上习得的知识的迁移至用于在线数据的小规模学生模型。我们使用公开数据集的实验表明,所提模型优于多种最先进(state-of-the-art)方法,在链接预测任务中相对增益达 5%。此外,我们证明了我们的知识蒸馏策略在所需参数数量方面的有效性,与基线方法相比,Distill2Vec 实现了高达 7:100 的压缩比。为复现起见,我们的实现公开于 https://stefanosantaris.github.io/Distill2Vec。
引用
@article{arxiv.2011.05664,
title = {Distill2Vec: Dynamic Graph Representation Learning with Knowledge Distillation},
author = {Stefanos Antaris and Dimitrios Rafailidis},
journal= {arXiv preprint arXiv:2011.05664},
year = {2020}
}