超越 Johnson-Lindenstrauss 引理：草图双线性形式的统一界
机器学习
2025-09-29 v1 人工智能
机器学习
摘要
在机器学习和随机算法中，向量或矩阵的草图内积的统一界支撑着若干重要结果，包括 Johnson-Lindenstrauss (J-L) 引理、受限等距性质 (RIP)、随机草图以及近似线性代数。然而，许多现代分析涉及草图双线性形式，现有统一界要么不适用，要么在一般集合上不够精确。本工作中，我们发展了一个通用框架来分析此类草图双线性形式，并基于相关集合的几何复杂度推导统一界。我们的方法依赖于泛链，并引入处理两集合上确界的新技术。我们进一步将结果推广到双线性形式涉及 个独立草图矩阵之和的情形，证明偏差以 缩放。这一统一分析恢复了已知结果（如 J-L 引理）作为特例，同时扩展了 RIP 类型的保证。此外，我们获得了草图化联邦学习算法的改进收敛界，此类交叉项因草图化梯度压缩而自然出现；并设计了草图化多臂赌博机算法变体，其遗憾界更紧，依赖于动作集合与参数集合的几何复杂度而非环境维度。
引用
@article{arxiv.2509.21847,
title = {Beyond Johnson-Lindenstrauss: Uniform Bounds for Sketched Bilinear Forms},
author = {Rohan Deb and Qiaobo Li and Mayank Shrivastava and Arindam Banerjee},
journal= {arXiv preprint arXiv:2509.21847},
year = {2025}
}