基于向量离群点正则化重新审视 L21 范数的鲁棒性
计算机视觉与模式识别
2020-01-10 v2
摘要
在许多实际应用中，数据通常包含离群点。一种流行的方法是使用 L2,1 范数函数作为鲁棒的误差/损失函数。然而，L2,1 范数函数的鲁棒性至今未被很好地理解。在本文中，我们提出了一个新的向量离群点正则化 (VOR) 框架来理解和分析 L2,1 范数函数的鲁棒性。我们的 VOR 函数将相对于理论预测超出某个阈值的数据点定义为离群点，并对其进行正则化——将其拉回阈值线。然后我们证明，当阈值趋于零时，以通常的最小二乘/L2 误差函数为阈值的该 VOR 的极限情况即为 L2,1 函数。VOR 的一个有趣特性是，离群点偏离其理论预测值的程度不会影响最终的正则化和分析结果。这一 VOR 特性揭示了 L2,1 范数函数最奇特的性质之一：离群点的影响似乎与其离群程度无关——如果将离群点进一步移离内在流形/子空间，最终的分析结果不会改变。VOR 提供了一种理解和分析 L2,1 范数函数鲁棒性的新途径。将 VOR 应用于矩阵分解导出了一个新的 VORPCA 模型。我们与基于迹范数的 L21 范数 PCA 进行了全面比较，以展示 VORPCA 的优势。
引用
@article{arxiv.1706.06409,
title = {Revisiting L21-norm Robustness with Vector Outlier Regularization},
author = {Bo Jiang and Chris Ding},
journal= {arXiv preprint arXiv:1706.06409},
year = {2020}
}