超越 L2 损失函数的稀疏模型学习

在学习任务中引入稀疏先验可以为复杂的高维数据生成简单且可解释的模型。稀疏模型已在结构发现、从损坏中恢复数据以及各种大规模无监督和监督学习问题中得到广泛应用。假设有充足的数据可用，这些方法通过优化高保真重建来推断稀疏表示的字典。在大多数场景中，重建质量使用欧氏距离平方来衡量，并且已经针对批处理和在线学习情况开发了高效的算法。然而，新的应用领域促使我们超越传统的损失函数。例如，诸如 $\ell_1$ 和 Huber 等鲁棒损失函数在学习抗异常值模型时非常有用，而分位数损失则有利于发现代表特定分位数的结构。这些新应用促使我们将稀疏学习推广到一大类凸损失函数上。具体而言，我们考虑分段线性二次（PLQ）代价函数类，它包含 Huber 以及 $\ell_1$、分位数、Vapnik、合页损失和这些惩罚项的平滑变体。我们提出了一种算法，用于在数据重建保真度由任何平滑 PLQ 代价函数衡量时学习字典并获取稀疏编码。我们为所提出的算法提供了收敛性保证，并通过实证实验展示了其收敛行为。此外，我们给出了三个需要使用 PLQ 代价函数的案例研究：(i) 鲁棒图像建模，(ii) 图像标注与检索的标签细化，以及 (iii) 计算子空间聚类的经验置信限。