基于信息瓶颈的 双向 多尺度 图 数据 压缩

数据压缩显著提高了 模型训练效率，但其在 计算力不同的 设备上的应用带来了 对不同数据规模的 新要求。因此， 同时 实现 多尺度图的 压缩 是 实现 不同 on-device 场景下 高效训练的核心。现有的 高效 方法主要 按尺度顺序进行 高效近似 计算 (大到 小 或 小到 大尺度)。然而，对于 稀疏图数据的 非欧几里得结构，这两种 常用方法在 多尺度图数据压缩方面都存在严重 的缩小 退化 和 扩大 崩溃 问题。上述方法的主要 瓶颈是 是否 在 让 主 子尺度 ( 多个尺度中的 第一个 ) 时 完全 保存 原始图的 有效信息，从而决定 所有尺度的 压缩效果 和 一致性。在本文中，我们提出了一种 基于 GNN 的 双向 多尺度 图 数据 压缩 (BiMSGC) 框架， 通过 在 大到 小 和 小到 大 两个方向上 操作， 来探索 统一的方法。基于 互信息理论，我们估计 一个 最优 的 '中等尺度' 以 获取 最小必要的 稠密图， 保存 原始图 的 最大 实用信息，然后通过 在 其他尺度上 基于信息瓶颈 优化 图 特征向量匹配， 实现 稳定且 一致的 '双向' 压缩学习。鼓励的 实证结果表明，该 框架 在 不同尺度的 图 压缩方面 显著优于 现有方法。