Ghost-Connect Net：分布偏移下稀疏深度网络的泛化增强指导
机器学习
2024-11-15 v1
摘要
稀疏深度神经网络（DNN）通过减少阻碍可用性的计算需求，在机器人和计算机视觉等实际应用中表现出色。然而，近期研究旨在通过基于任务相关性修剪冗余神经元或滤波器来提升 DNN 效率，却忽略了其对分布偏移的适应性。我们旨在通过引入一个伴随网络 Ghost Connect-Net（GC-Net）来增强这些现有技术，以利用分布泛化优势监控原始网络中的连接。GC-Net 的权重表示原始网络连续层之间的连接度度量。对 GC-Net 进行剪枝后，剪枝位置被映射回原始网络作为剪枝连接，从而实现基于幅度和基于连接度的剪枝方法的结合。在常用 DNN 基准（如 CIFAR-10、Fashion MNIST 和 Tiny ImageNet）上的实验结果表明，混合使用该方法，并在网络的较后层使用 GC-Net 指导、较前层直接剪枝，取得了良好效果。我们为 GC-Net 改善分布偏移下泛化能力的方法提供了理论基础。
引用
@article{arxiv.2411.09199,
title = {Ghost-Connect Net: A Generalization-Enhanced Guidance For Sparse Deep Networks Under Distribution Shifts},
author = {Mary Isabelle Wisell and Salimeh Yasaei Sekeh},
journal= {arXiv preprint arXiv:2411.09199},
year = {2024}
}
备注
21 pages, 4 figures, 3 subfigures, 42 tables