RepMLPNet：具有重参数化局部性的分层视觉 MLP
计算机视觉与模式识别
2022-03-31 v2 人工智能
机器学习
摘要
与卷积层相比，全连接（FC）层更擅长建模长程依赖，但在捕捉局部模式方面更差，因此通常在图像识别中较不受青睐。在本文中，我们提出一种称为局部性注入（Locality Injection）的方法，通过将并行卷积核的训练参数合并到 FC 核中，将局部先验纳入 FC 层。局部性注入可视为一种新颖的结构重参数化（Structural Re-parameterization）方法，因为它通过变换参数等价地转换结构。基于此，我们提出一个名为 RepMLP 块的多层感知机（MLP）块，其使用三个 FC 层提取特征，以及一种名为 RepMLPNet 的新颖架构。分层设计使 RepMLPNet 区别于其他同期提出的视觉 MLP。由于它产生不同层级的特征图，它可作为语义分割等下游任务的骨干模型。我们的结果表明：1）局部性注入是 MLP 模型的一种通用方法；2）与其他 MLP 相比，RepMLPNet 具有有利的精度-效率权衡；3）RepMLPNet 是首个无缝迁移到 Cityscapes 语义分割的 MLP。代码和模型可在 https://github.com/DingXiaoH/RepMLP 获取。
引用
@article{arxiv.2112.11081,
title = {RepMLPNet: Hierarchical Vision MLP with Re-parameterized Locality},
author = {Xiaohan Ding and Honghao Chen and Xiangyu Zhang and Jungong Han and Guiguang Ding},
journal= {arXiv preprint arXiv:2112.11081},
year = {2022}
}
备注
Accepted by CVPR-2022. This is the latest version