初始化对于 Transformer 是通过推理还是记忆来拟合复合函数至关重要

Transformer 在各种任务中展现出了令人印象深刻的能力，但其在组合问题上的性能仍是一个有争议的话题。在这项工作中，我们研究了 Transformer 在未见过的组合任务上的行为机制。我们发现，参数初始化尺度在决定模型是学习捕获底层组合原语的推理（基于推理的）解，还是仅仅在不理解组合结构的情况下记忆映射的对称（基于记忆的）解方面起着至关重要的作用。通过分析模型内的信息流和向量表示，我们揭示了这些解类型背后的不同机制。我们进一步发现，推理（基于推理的）解表现出低复杂度偏置，我们假设这是使其能够学习单个锚点的独立映射的关键因素。我们在各种真实数据集上验证了我们的结论。我们的发现为初始化尺度在调节推理和记忆能力中的作用提供了有价值的见解，并且我们提出初始化率 $\gamma$ 可作为常见深度学习框架中一个方便的可调超参数，其中 $1/d_{\mathrm{in}}^\gamma$ 是具有 $d_{\mathrm{in}}$ 个输入神经元的层的参数标准差。