Swim：一种用于运动控制任务的通用、高性能且高效的激活函数
机器学习
2023-03-07 v1 神经与进化计算
机器人学
摘要
激活函数在深度学习算法的性能中起着重要作用。特别地，Swish 激活函数在包括深度强化学习模型在内的更深模型上往往优于 ReLU，且适用于各类困难任务。尽管取得了这一进展，ReLU 仍是首选函数，部分原因是它比 Swish 更高效。此外，与计算机视觉和自然语言处理领域相比，深度强化学习与机器人领域较少倾向于采用 Swish 等新型激活函数，而是继续使用 ReLU 等更传统的函数。为解决这些问题，我们提出了 Swim，一种通用、高效且高性能的 Swish 替代方案，并分析了其性质，从奖励达成与效率两方面解释了其相对 Swish 的高性能。我们专注于在 MuJoCo 的运动连续控制任务上测试 Swim，因为这些任务展现出更复杂的动力学，因而最能从高性能且高效的激活函数中获益。我们还将 TD3 算法与 Swim 结合使用，并在机器人运动控制领域背景下解释了这一选择。我们由此得出结论：Swim 是连续控制运动任务中最先进的激活函数，并建议将其与 TD3 作为工作框架一同使用。
引用
@article{arxiv.2303.02640,
title = {Swim: A General-Purpose, High-Performing, and Efficient Activation Function for Locomotion Control Tasks},
author = {Maryam Abdool and Tony Dear},
journal= {arXiv preprint arXiv:2303.02640},
year = {2023}
}