中文

[再现] 网络解卷积

计算机视觉与模式识别 2024-10-03 v1 数字图书馆 机器学习

摘要

我们的工作旨在复现 Ye 等人(2020 年)[1] 发表的《网络解卷积》中的一系列发现。该论文提出一种用于卷积神经网络模型训练的优化技术。该技术称为"网络解卷积",用于在数据输入至每层之前消除卷积神经网络中的像素级和通道级相关性。具体而言,我们检验作者声称使用网络解卷积而非批归一化可提升深度学习模型性能的有效性。我们的工作确认了这一论点,成功复现了原论文表 1 和表 2 中的结果。我们的研究涉及多个架构、数据集和超参数配置下的 367 项独特实验。对于表 1,尽管在准确率上与原值存在一些细微偏差(在 10% 内),但整体趋势在以 20 和 100 个 epoch 训练模型时均与原研究发现相符。对于表 2,所有 14 项复现值均与原值一致。此外,我们记录了每个架构在 CIFAR-10 和 CIFAR-100 数据集上,以 1、20、100 个 epoch 设置下的训练和测试时间。我们记录了表 2 中使用 ImageNet 数据集的架构的总执行时间。用于本可重复性研究的数据和软件已公开于 https://github.com/lamps-lab/rep-network-deconvolution。

关键词

引用

@article{arxiv.2410.01189,
  title  = {[Re] Network Deconvolution},
  author = {Rochana R. Obadage and Kumushini Thennakoon and Sarah M. Rajtmajer and Jian Wu},
  journal= {arXiv preprint arXiv:2410.01189},
  year   = {2024}
}

备注

12 pages, 5 figures