非各向同性随机张量的集中不等式及其在学习与经验风险最小化中的应用
机器学习
2025-02-12 v4 机器学习
概率论
统计理论
统计理论
摘要
维度是某些现代学习任务固有的瓶颈，其中优化方法受限于数据规模。在本文中，我们研究数据的非各向同性分布，并开发旨在通过这些维度代价对有效维度而非环境维度的依赖来降低这些维度代价的工具。基于椭球度量熵的非渐近估计——其被证明可推广至无限维——以及链锁论证，我们的均匀集中界涉及有效维度而非全局维度，优于既有结果。我们通过以下应用展示在学习问题中利用非各向同性性质的重要性：i) 我们改进了用于通信高效分布式优化的统计预处理中的最优结果，ii) 我们引入了一种用于非光滑优化的非各向同性随机平滑。两类应用均涵盖包含线性模型经验风险最小化（ERM）的一类函数。
引用
@article{arxiv.2102.04259,
title = {Concentration of Non-Isotropic Random Tensors with Applications to Learning and Empirical Risk Minimization},
author = {Mathieu Even and Laurent Massoulié},
journal= {arXiv preprint arXiv:2102.04259},
year = {2025}
}