多重随机特征模型中的多重下降

近期工作已展示过参数化学习中的双重下降现象。尽管该现象已被近期工作研究，其在理论上尚未被充分理解。本文中，我们研究一类多分量预测模型中的多重下降现象。我们首先考虑拼接两类随机特征的“双重随机特征模型”（DRFM），并研究 DRFM 在岭回归中达到的超额风险。我们在训练样本量、数据维度与随机特征维度成比例趋于无穷的高维框架下，计算超额风险的精确极限。基于该计算，我们进一步从理论上证明 DRFM 的风险曲线可呈现三重下降。随后我们提供详尽的实验研究以验证理论。最后，我们将研究扩展至“多重随机特征模型”（MRFM），并展示集成 $K$ 类随机特征的 MRFM 可呈现 $(K+1)$ 重下降。我们的分析指出，具有特定下降次数的风险曲线普遍存在于学习多分量预测模型中。