深度对比表示学习的泛化分析

本文给出了采用深度神经网络作为表示函数的深度对比表示学习框架中无监督风险的泛化界。我们从两个角度处理这一问题。一方面，我们推导出一个与神经网络整体规模成比例的参数计数界。另一方面，我们提供了一个与神经网络权重矩阵范数成比例的基于范数的界。忽略对数因子，这些界与 $k$（对比学习所提供元组的大小）无关。据我们所知，这一特性仅与另一项研究共有，该研究采用了不同的证明策略，且由于使用了剥离技术而存在对网络深度的极强指数依赖。我们的结果通过利用关于样本上一致范数的覆盖数方面的有力结果规避了这一问题。此外，我们利用损失增强技术进一步降低了对矩阵范数的依赖以及对网络深度的隐含依赖。事实上，我们的技术使我们能够为对比学习设定产生许多界，其架构依赖性类似于普通损失函数样本复杂性研究中的情况，从而弥合了对比学习与 DNN 学习理论之间的差距。