草图SVD的实证评估及其在杠杆得分排序中的应用

随机算法在数值方法中的威力已带来以奇异值分解（SVD）为核心例程的快速求解方案。然而，鉴于现代数据的庞大尺寸与SVD较为一般的运行时间，大多数实用算法在运行SVD时需要某种形式的近似，例如草图。尽管这些近似方法满足诸多理论保证，我们首次提供了在真实世界大规模数据集上草图并求解SVD问题的算法实现。我们提供了对这些算法的全面实证评估，并给出如何确保在真实世界数据上准确部署的指南。作为草图SVD的一个应用，我们提出草图杠杆得分排序，一种用于确定神经网络训练中数据排序的技术。我们的技术基于利用随机投影对杠杆得分进行分布式计算。这些计算出的杠杆得分提供了一种灵活高效的方法，可在无人工干预或标注的情况下确定训练数据的最优排序。我们在涵盖图像分类、语言情感分析和多模态情感分析的大量实验上给出了实证结果。与标准随机投影算法相比，我们的方法更快，并在收敛性与结果上表现出改进。