知识蒸馏中大语言模型与图神经网络的结合
人工智能
2024-10-28 v4 机器学习
摘要
在面向服务的架构中，准确预测服务质量 对于维持可靠性和提升用户满意度至关重要。然而，由于现有方法总是忽视用户与服务之间的高阶潜在协作关系，且未能针对每次特定的用户-服务调用动态调整特征学习，这给学习准确特征带来了巨大挑战。此外，依赖 RNN 捕获 QoS 演化因难以处理长程依赖而妨碍了模型检测长期趋势的能力。为了应对这些挑战，我们提出了目标提示在线图协作学习 框架，用于时间感知的 QoS 预测。TOGCL 利用动态用户-服务调用图对历史交互进行建模，提供用户-服务关系的全面表示。在此图的基础上，它开发了一个目标提示图注意力网络，在每个时间切片提取用户和服务的在线深层潜在特征，同时考虑目标用户/服务与其邻居之间的隐式协作关系以及相关的历史 QoS 值。此外，采用多层 Transformer 编码器揭示用户和服务的时间特征演化模式，从而实现时间感知的 QoS 预测。在 WS-DREAM 数据集上进行的大量实验表明，我们提出的 TOGCL 框架在多个指标上显著优于 SOTA 方法，提升高达 38.80%。这些结果突显了 TOGCL 框架在精确时间 QoS 预测方面的有效性。
引用
@article{arxiv.2402.05894,
title = {Large Language Model Meets Graph Neural Network in Knowledge Distillation},
author = {Shengxiang Hu and Guobing Zou and Song Yang and Yanglan Gan and Bofeng Zhang and Yixin Chen},
journal= {arXiv preprint arXiv:2402.05894},
year = {2024}
}
备注
This work has been submitted to the IEEE for possible publication