基于结构化分解与组稀疏性的多标签学习

在多标签学习中，每个样本与多个标签相关联。现有研究表明，探索标签之间的相关性可以提高预测性能。然而，将标签相关性嵌入训练过程会显著增加问题规模。此外，特征空间中标签结构的映射尚不明确。本文提出了一种新颖的多标签学习方法“结构化分解+组稀疏性（SDGS）”。在SDGS中，我们从训练数据的结构化分解中为每个标签学习一个特征子空间，并通过新样本在结构化分解所得多子空间上的组稀疏表示来预测其标签。具体而言，在训练阶段，我们将数据矩阵 $X\in R^{n\times p}$ 分解为 $X=\sum_{i=1}^kL^i+S$，其中 $L^i$ 中与属于标签 $i$ 的样本相关联的行非零且构成一个低秩矩阵，而其他行全为零，残差 $S$ 是一个稀疏矩阵。$L_i$ 的行空间即为标签 $i$ 对应的特征子空间。该分解可通过随机优化高效获得。在预测阶段，我们通过组 \emph{lasso} 估计新样本在多子空间上的组稀疏表示。非零表示系数倾向于集中在样本所属标签的子空间上，从而获得有效的预测。我们在多个真实数据集上评估了SDGS，并将其与流行方法进行了比较。结果验证了SDGS的有效性和效率。