双路径归一化
计算机视觉与模式识别
2023-05-09 v3 机器学习
摘要
我们提出双路径归一化（Dual PatchNorm）：在视觉Transformer（Vision Transformers）的块嵌入层前后各放置一个层归一化层（LayerNorm）。我们证明，双路径归一化优于在 Transformer 块内部穷举搜索替代 LayerNorm 放置策略的结果。在我们的实验中，加入这一微小改动通常带来优于精心调优的视觉 Transformer 的精度，且从不损害性能。
关键词
引用
@article{arxiv.2302.01327,
title = {Dual PatchNorm},
author = {Manoj Kumar and Mostafa Dehghani and Neil Houlsby},
journal= {arXiv preprint arXiv:2302.01327},
year = {2023}
}
备注
TMLR 2023 (https://openreview.net/forum?id=jgMqve6Qhw)