时序相关性的优势：SGD通过随机漫步高效学习k-关节
机器学习
2026-05-12 v1
摘要
我们研究时序数据中的时序相关性如何使某些稀疏学习问题对梯度方法变得可被学习。我们的关注焦点是布尔k-关节，这是已知在独立均匀样本下对梯度方法构成障碍的稀疏学习问题。我们表明，当样本由超立方体上的懒散随机漫步生成时，这一局面发生了变化。在这种设置下，时序依赖性可被一种使用带时序差分损失的两层ReLU网络通过stylized-SGD所利用，该损失比较连续样本之间的目标与预测增量。对于固定的每个k，结果样本复杂度基本为环境维度d的线性。相比之下，我们表明对于使用标准凸点势损失的大批梯度方法，时序相关性并不提供相同的优势。
引用
@article{arxiv.2605.10237,
title = {The Benefits of Temporal Correlations: SGD Learns k-Juntas from Random Walks Efficiently},
author = {Elisabetta Cornacchia and Dan Mikulincer and Elchanan Mossel},
journal= {arXiv preprint arXiv:2605.10237},
year = {2026}
}
备注
10 pages main body, 3 figures