通过相似性蒸馏保持图自编码器中的节点区分性
系统与控制
2024-06-26 v1 系统与控制
摘要
图自编码器（GAEs）作为一种类生成式自监督学习方法，近年来显示出巨大的潜力。GAEs通常依赖于基于距离的准则，如均方误差（MSE），来重构输入图。然而，仅依赖单一的重构准则可能导致重构图中区分性的丢失，使节点坍缩为相似的表示，从而导致次优性能。为此，我们开发了一种简单而有效的策略来保持重构图中必需的区分性。灵感来自知识蒸馏技术，我们发现GAEs的双编码器-解码器架构可以视为教师-学生关系。因此，我们提出通过简单的KL约束将原始图的区分性知识传递到重构图中。具体而言，我们计算原始图和重构图中的成对节点相似性得分。在训练过程中，KL约束与重构准则一起优化。我们在三种类型的图任务上进行了广泛实验，表明该策略的有效性和通用性。这表明该方法可以作为一种即插即用的方法，用于避免模糊的重构并提升整体性能。
引用
@article{arxiv.2406.17516,
title = {Optimal DC-link Voltage from Weight and Loss Perspective for eVTOLs},
author = {Abhijit Kulkarni and Torbjörn Thiringer and Remus Teodorescu},
journal= {arXiv preprint arXiv:2406.17516},
year = {2024}
}