FlexAct：为何要学，还能选？
机器学习
2026-01-13 v1
摘要
在深度学习中，学习激活函数已成为一个引人注目的方向，允许网络根据特定任务的需求调整激活机制。在本 work中，我们引入了一种 novel 框架，该框架利用Gumbel-Softmax技巧，enable在训练期间在预定义的激活函数集合中进行离散且可微的选择。该方法独立于输入动态学习最佳激活函数，从而增强了预测准确性和架构灵活性。合成数据集上的实验表明，我们的模型始终能够选择最合适的激活函数，凸显了其有效性。这些结果将理论进展与实际效用联系起来，为在复杂学习情景中实现更具适应性和模块化的神经网络架构铺平了道路。
引用
@article{arxiv.2601.06441,
title = {FlexAct: Why Learn when you can Pick?},
author = {Ramnath Kumar and Kyle Ritscher and Junmin Judy and Lawrence Liu and Cho-Jui Hsieh},
journal= {arXiv preprint arXiv:2601.06441},
year = {2026}
}
备注
Under Review