VanillaNet：深度学习中的极简主义力量
计算机视觉与模式识别
2023-05-24 v2
摘要
基础模型的核心哲学是“更多即不同”，这在计算机视觉与自然语言处理中的惊人成功中得到了体现。然而，优化难题与 Transformer 模型固有的复杂性呼唤着向简洁性的范式转变。在本研究中，我们提出 VanillaNet，一种崇尚设计优雅的神经网络架构。通过避免深层结构、捷径以及自注意力等复杂操作，VanillaNet 简洁清新却异常强大。每一层都经过精心构建，紧凑而直观，非线性激活函数在训练后被剪除以恢复原始架构。VanillaNet 克服了固有复杂性的挑战，使其成为资源受限环境的理想选择。其易于理解且高度简化的架构为高效部署开辟了新可能。大量实验表明，VanillaNet 的性能与著名的深度神经网络和视觉 Transformer 相当，彰显了深度学习中极简主义的威力。VanillaNet 这一富有远见的探索具有重新定义格局、挑战基础模型现状的重大潜力，为优雅而有效的模型设计开辟了新路径。预训练模型与代码可在 https://github.com/huawei-noah/VanillaNet 与 https://gitee.com/mindspore/models/tree/master/research/cv/vanillanet 获取。
引用
@article{arxiv.2305.12972,
title = {VanillaNet: the Power of Minimalism in Deep Learning},
author = {Hanting Chen and Yunhe Wang and Jianyuan Guo and Dacheng Tao},
journal= {arXiv preprint arXiv:2305.12972},
year = {2023}
}