RepAct：可重参数化的自适应激活函数
机器学习
2024-07-02 v1 人工智能
计算机视觉与模式识别
摘要
为应对边缘计算和物联网领域高效人工智能的迫切需求，本研究提出了 RepAct——一种为优化边缘设备计算限制下轻量级神经网络而设计的可重参数化自适应激活函数。通过采用具有可学习自适应权重的多分支结构，RepAct 丰富了特征处理并增强了跨层可解释性。在图像分类和目标检测等任务上进行评估时，RepAct 在轻量级网络中显著优于传统激活函数，在 ImageNet100 数据集上以 MobileNetV3-Small 为例，准确率提升最高可达 7.92%，同时保持与 HardSwish 相当的计算复杂度。这种创新方法不仅最大化了模型参数效率，还显著提高了轻量级神经网络的性能和理解能力，展示了其在实时边缘计算应用中的潜力。
引用
@article{arxiv.2407.00131,
title = {RepAct: The Re-parameterizable Adaptive Activation Function},
author = {Xian Wu and Qingchuan Tao and Shuang Wang},
journal= {arXiv preprint arXiv:2407.00131},
year = {2024}
}