高效 ResNet：残差网络设计
计算机视觉与模式识别
2023-06-22 v1 机器学习
摘要
ResNet（或残差网络）是用于图像分类任务最常被使用的模型之一。在本项目中，我们设计并训练了一个用于 CIFAR-10 图像分类的改进 ResNet 模型。具体而言，我们的目标是在将 ResNet 模型规模控制在指定固定预算（500 万可训练参数）以内的同时，最大化 CIFAR-10 基准上的测试准确率。模型规模（通常度量可训练参数数量）在模型需存储于存储容量受限设备（如 IoT/边缘设备）时十分重要。在本文中，我们给出了参数少于 500 万的残差网络设计。我们展示了我们的 ResNet 在 CIFAR-10 上取得了 96.04% 的测试准确率，在配备若干训练策略和合适的 ResNet 超参数时，远高于 ResNet18（其可训练参数大于 1100 万）。模型和代码见 https://github.com/Nikunj-Gupta/Efficient_ResNets。
引用
@article{arxiv.2306.12100,
title = {Efficient ResNets: Residual Network Design},
author = {Aditya Thakur and Harish Chauhan and Nikunj Gupta},
journal= {arXiv preprint arXiv:2306.12100},
year = {2023}
}