深度强化学习中的彩票票假设与最小任务表征

彩票票假设质疑了过度参数化在有监督深度学习中的作用。但是，中奖彩票的性能如何受到强化学习问题固有的分布偏移的影响？在这项工作中，我们通过比较必须应对探索-利用问题非平稳性的稀疏智能体与被训练来模仿专家的有监督智能体来解决这一问题。我们表明，与使用强化学习训练的智能体相比，通过行为克隆训练的前馈网络可以被剪枝到更高的稀疏度而不发生性能退化。这表明，为了解决 RL 特有的分布偏移，智能体需要更多的自由度。使用一组精心设计的基线条件，我们发现两种学习范式中的大部分彩票票效应可归因于所识别的掩码而非权重初始化。输入层掩码有选择地剪枝掉整个输入维度，而这些维度被证明与手头任务无关。在中等稀疏度下，迭代幅度剪枝所识别的掩码产生了最小任务相关表征，即可解释的归纳偏置。最后，我们提出了一种简单的初始化重缩放方法，可促进在低维控制任务中对稀疏任务表征的鲁棒识别。