C3-SL：基于循环卷积的批式压缩用于通信高效分割学习
机器学习
2022-07-26 v1 计算机视觉与模式识别
摘要
大多数现有研究通过压缩传输的特征来提升分割学习（SL）的效率。然而，多数工作聚焦于将高维特征变换到低维空间的维度式压缩。本文中，我们提出基于循环卷积的批式压缩用于SL（C3-SL），将多个特征压缩为单个特征。为避免合并多个特征时的信息损失，我们利用高维空间中特征的准正交性与循环卷积及叠加。据我们所知，我们首次探索了SL场景下批式压缩的潜力。基于CIFAR-10和CIFAR-100上的仿真结果，与原始SL相比，我们的方法实现了16倍压缩比且精度下降可忽略。此外，与最先进的维度式压缩方法相比，C3-SL显著减少了1152倍内存和2.25倍计算开销。
引用
@article{arxiv.2207.12397,
title = {C3-SL: Circular Convolution-Based Batch-Wise Compression for Communication-Efficient Split Learning},
author = {Cheng-Yen Hsieh and Yu-Chuan Chuang and An-Yeu and Wu},
journal= {arXiv preprint arXiv:2207.12397},
year = {2022}
}
备注
6 pages, IEEE MLSP 2022, Github: https://github.com/WesleyHsieh0806/Split-Learning-Compression