可训练高度表达的激活函数
计算机视觉与模式识别
2024-07-12 v2
摘要
非线性激活函数是深度神经网络成功的关键因素，选择合适的激活函数会显著影响其性能。大多数网络使用固定激活函数（如 ReLU、GELU 等），这种选择可能限制了其表达能力。此外，不同层可能从 diverse 激活函数中受益。因此，对可训练激活函数的兴趣日益增长。本文引入了 DiTAC，这是一种基于高效微分变换（称为 CPAB）的可训练高度表达激活函数。尽管仅引入了极少的可训练参数，DiTAC 仍增强了模型的表达能力和性能，常常显著提高性能。它在语义分割、图像生成、回归问题和图像分类等任务中，优于现有的激活函数（无论后者是固定的还是可训练的）。我们的代码已在 https://github.com/BGU-CS-VIL/DiTAC 上提供。
引用
@article{arxiv.2407.07564,
title = {Trainable Highly-expressive Activation Functions},
author = {Irit Chelly and Shahaf E. Finder and Shira Ifergane and Oren Freifeld},
journal= {arXiv preprint arXiv:2407.07564},
year = {2024}
}
备注
Accepted to ECCV 2024 on July 1st, 2024