对比学习中寻找局部极值的复杂度

对比学习是一种通过优化基于对比信息的目标函数来发现数据表示的强大方法，常以加权三元组集合 $\{(x_i, y_i^+, z_{i}^-)\}_{i = 1}^m$ 形式呈现，其中 $(x_i, y_i^+, z_{i}^-)$ 表示“锚点”$x_i$ 应更接近“正例”$y_i$ 而非“负例”$z_i$。目标是找到表示（如嵌入向量 $\mathbb{R}^d$ 或树形度量）使得锚点距离正例更近。虽然求解对比目标的全局最优解是 $\mathsf{NP}$-hard 的，但求解局部最优解——即不通过梯度等局部搜索算法改进的表示——的复杂度尚未知晓。我们的工作通过证明离散设置（如最大化满足的三元组数）为 $\mathsf{NLS}$-hard，连续设置（如最小化 Triplet Loss）为 $\mathsf{CLS}$-hard，从而确定了各种对比学习问题中寻找局部极值的复杂度，其中 $\mathsf{NLS}$（Polynomial Local Search）和 $\mathsf{CLS}$（Continuous Local Search）是描述离散与连续优化中局部搜索动力学的经典复杂度类。我们的结果表明，除非 $\mathsf{NLS}\subseteq\mathsf{P}$（或 $\mathsf{CLS}\subseteq\mathsf{P}$），否则不存在多项式时间算法（局部搜索或其他）能求解各种对比学习问题的局部最优解。即便在 $\mathsf{NLS}\subseteq\mathsf{P}$（或 $\mathsf{CLS}\subseteq\mathsf{P}$）的情形，我们的归约仍暗示存在实例，即使 $d=1$（嵌入在一维空间），局部搜索算法也需指数时间才能收敛到局部最优解。