单次洗牌SGD能否优于重洗牌SGD与GD？
机器学习
2021-03-15 v1 最优化与控制
摘要
我们提出了矩阵范数不等式，通过补充另一个考虑单次洗牌的不等式，扩展了Recht-Ré（2012）关于非交换AM-GM不等式的猜想；单次洗牌是一种广泛使用的无放回采样方案，仅在开始时洗牌一次，且在Recht-Ré猜想中被忽视。相较于一般正半定矩阵，我们将注意力限制于条件数足够小的正定矩阵，这类矩阵更贴合SGD分析中出现的矩阵。对于此类矩阵，我们猜想对应于SGD有放回与无放回变体的矩阵乘积均值满足一系列谱范数不等式，可概括为：“单次洗牌SGD比随机重洗牌SGD收敛更快，而后者又比有放回SGD更快。”我们给出定理，通过证明若干特例来支持该猜想。
引用
@article{arxiv.2103.07079,
title = {Can Single-Shuffle SGD be Better than Reshuffling SGD and GD?},
author = {Chulhee Yun and Suvrit Sra and Ali Jadbabaie},
journal= {arXiv preprint arXiv:2103.07079},
year = {2021}
}
备注
26 pages, 2 figures