WaveMix:一种用于图像分析的资源高效神经网络
计算机视觉与模式识别
2024-04-02 v5 人工智能
机器学习
摘要
我们提出了一种用于计算机视觉的新型神经网络架构——WaveMix——它资源高效且可泛化、可扩展。在使用更少可训练参数、GPU RAM和计算量的同时,WaveMix网络在多项任务上取得了与最先进的卷积神经网络、视觉变换器和token mixer相当或更好的精度。这种效率可转化为时间、成本和能源上的节省。为实现这些收益,我们在WaveMix模块中使用了多级二维离散小波变换(2D-DWT),其具有以下优势:(1)它基于三个强图像先验——尺度不变性、平移不变性和边缘稀疏性——对空间信息进行重组;(2)以无损方式且不增加参数;(3)同时减小特征图的空间尺寸,从而减少前向和反向传播所需的内存和时间;(4)比卷积更快地扩展感受野。整个架构是堆叠的自相似且保持分辨率的WaveMix模块,这为各种任务和资源可用水平提供了架构灵活性。WaveMix在Cityscapes的分割任务上以及在Galaxy 10 DECals、Places-365、五个EMNIST数据集和iNAT-mini的分类任务上建立了新的基准,并在其他基准上表现具有竞争力。我们的代码和训练好的模型已公开可用。
引用
@article{arxiv.2205.14375,
title = {WaveMix: A Resource-efficient Neural Network for Image Analysis},
author = {Pranav Jeevan and Kavitha Viswanathan and Anandu A S and Amit Sethi},
journal= {arXiv preprint arXiv:2205.14375},
year = {2024}
}
备注
20 pages, 5 figures