EGAD：基于自注意力与知识蒸馏的演化图表示学习用于直播视频流事件
机器学习
2020-11-12 v1 人工智能
摘要
在本研究中，我们提出一种基于带权图的动态图表示学习模型，以准确预测直播视频流事件中观众之间连接的网络容量。我们提出 EGAD，一种通过在与连续图卷积网络之间的权重上引入自注意力机制来捕获图演化的神经网络架构。此外，我们考虑到神经架构需要海量参数进行训练，从而增加了在线推理延迟并对直播视频流事件中的用户体验产生负面影响。为解决大量参数带来的高在线推理问题，我们提出一种知识蒸馏策略。具体而言，我们设计了一种蒸馏损失函数，旨在先在离线数据上预训练教师模型，再将知识从教师模型迁移至参数更少的较小学生模型。我们在由直播视频流事件生成的三个真实世界数据集上评估了所提模型的链接预测任务。事件持续 80 分钟，每位观众均使用了 Hive Streaming AB 公司提供的分发方案。实验证明了所提模型在链接预测精度与所需参数量方面相对于最先进方法的有效性。此外，我们针对不同蒸馏策略研究了所提模型的蒸馏性能（以压缩比衡量），表明该模型可实现高达 15:100 的压缩比，同时保持高链接预测精度。为复现起见，我们的评估数据集与实现公开于 https://stefanosantaris.github.io/EGAD。
引用
@article{arxiv.2011.05705,
title = {EGAD: Evolving Graph Representation Learning with Self-Attention and Knowledge Distillation for Live Video Streaming Events},
author = {Stefanos Antaris and Dimitrios Rafailidis and Sarunas Girdzijauskas},
journal= {arXiv preprint arXiv:2011.05705},
year = {2020}
}