RS-DGC：探索邻域统计用于遥感图像解译的动态梯度压缩
计算机视觉与模式识别
2024-01-01 v1
摘要
由于地球观测计划每日产生的大量开放数据带来的挑战，分布式深度学习最近在遥感（RS）应用中吸引了更多关注。然而，在多个节点间发送模型更新的高通信成本是可扩展分布式学习的重要瓶颈。梯度稀疏化已被验证为一种有效的梯度压缩（GC）技术，可降低通信成本从而加速训练速度。现有的最先进梯度稀疏化方法大多基于“绝对值越大越重要”的准则，忽略了通常观察到会影响性能的小梯度的重要性。受邻域信息对流形结构的信息表示启发，我们提出了一种简单而有效的动态梯度压缩方案，利用邻域统计指标进行 RS 图像解译， termed RS-DGC。我们首先通过引入梯度邻域来增强梯度间的相互依赖性，以减少随机噪声的影响。RS-DGC 的核心组件是邻域统计指标（NSI），它可以量化每个节点上指定邻域内梯度的重要性，以便在每次迭代的梯度传输之前对局部梯度进行稀疏化。此外，提出了一种逐层动态压缩方案，以实时跟踪每一层重要性的变化。广泛的下行任务验证了我们的方法在 RS 图像智能解译方面的优越性。例如，在使用 VGG-19 网络的 NWPU-RESISC45 数据集上，我们在通信压缩超过 50 倍的情况下实现了 0.51% 的准确率提升。
引用
@article{arxiv.2312.17530,
title = {RS-DGC: Exploring Neighborhood Statistics for Dynamic Gradient Compression on Remote Sensing Image Interpretation},
author = {Weiying Xie and Zixuan Wang and Jitao Ma and Daixun Li and Yunsong Li},
journal= {arXiv preprint arXiv:2312.17530},
year = {2024}
}