模糊平铺激活：一种在线学习稀疏表示的简单方法

近期研究表明，稀疏表示——即仅有一小部分单元处于激活状态——能够显著减少干扰。然而，这些工作依赖于相对复杂的正则化或元学习方法，且仅在预训练阶段离线使用。在本工作中，我们追求一种通过设计而非通过学习实现稀疏性的方向。具体而言，我们设计了一种激活函数，其按构造确定性地产生稀疏表示，因而更适于在线训练。该思路基于简单的分箱方法，但克服了分箱的两个关键局限：几乎处处平坦区域上的零梯度，以及因粗粒度聚合导致的精度损失——判别力下降。我们提出了一种模糊平铺激活（Fuzzy Tiling Activation, FTA），它提供不可忽略的梯度并产生分箱间的重叠以改善判别力。我们首先在一个合成在线监督学习问题中展示了FTA在协变量偏移下的鲁棒性，其中我们可以调节相关性与漂移的程度。随后我们进入深度强化学习设定，在经典离散控制与Mujoco连续控制环境中，研究了使用带有FTA的神经网络的值基与策略梯度算法。我们表明，在大多数领域上，配备FTA的算法无需目标网络即可更快地学习到稳定策略。