用于高效卷积神经网络动态克隆变换器
计算机视觉与模式识别
2021-06-15 v1 机器学习
摘要
卷积网络（ConvNets）已展现出解决各类视觉任务的强大能力。然而，在性能与效率之间的权衡仍是资源受限平台上可行模型部署所面临的挑战。本文引入一种称为多路径全连接模式（MPFC）的新概念，以重新思考 ConvNets 的拓扑模式、精度与效率之间的相互依赖关系。受 MPFC 启发，我们进一步提出一种双分支模块，称为动态克隆变换器（DCT），其中一个分支从输入生成多个副本，另一分支通过基于输入自身的一系列差分向量对这些克隆进行重构以产生更多变体。该操作以数据驱动的方式以极低计算成本实现通道信息的自扩展，同时提供充足的学习能力，是作为瓶颈结构中逐点卷积这一计算昂贵扩展层潜在替代单元。
引用
@article{arxiv.2106.06778,
title = {Dynamic Clone Transformer for Efficient Convolutional Neural Netwoks},
author = {Longqing Ye},
journal= {arXiv preprint arXiv:2106.06778},
year = {2021}
}