用于逼近 Tyler M-估计量的基于 Frank-Wolfe 的算法

Tyler M-估计量是一种众所周知的用于稳健和重尾协方差估计的方法。Tyler 本人曾提出一种迭代不动点算法来计算其估计量，然而该算法每次迭代需要超线性（相对于数据规模）的运行时间，这在大规模场景下可能难以承受。在这项工作中，据我们所知，我们首次提出了基于 Frank-Wolfe 的算法来计算 Tyler 估计量。其中一种变体使用标准的 Frank-Wolfe 步骤，第二种还考虑了远离步骤（AFW），第三种则是 AFW 的测地线版本（GAFW）。可证明 AFW 每次迭代仅需线性时间（至多差一个对数因子），而 GAFW 在大 n（数据点数量）情形下以线性时间（至多差一个对数因子）运行。尽管底层的优化问题既非凸也非光滑，但在标准假设下，所有三种变体均被证明能以次线性速率收敛到最优解。在一个额外且相当温和的假设下——当（归一化的）数据点是支撑在整个单位球面上的连续分布的独立同分布样本时，该假设以概率 1 成立——AFW 和 GAFW 被证明具有线性收敛速率。重要的是，所有三种变体均无需参数，并使用自适应步长。