多数据矩阵多任务特征学习的安全筛选
机器学习
2015-05-18 v1
摘要
多任务特征学习（MTFL）是一种通过同时学习多个相关分类/回归/聚类任务来提升预测性能的强大技术。然而，当特征维度极大时，求解MTFL问题仍然具有挑战性。本文提出了一种基于凸集对偶投影（DPC）的新型筛选规则，用于快速识别在所有任务解向量中系数为零的非活跃特征。DPC的一个显著特点是：其检测到的非活跃特征被保证在所有任务解向量中系数为零。因此，通过在训练阶段移除非活跃特征，可以在不牺牲精度的前提下大幅降低计算代价和内存消耗。据我们所知，这是首个适用于具有多个数据矩阵的稀疏模型的筛选规则。推导DPC的一个关键挑战是求解一个非凸问题。我们证明，通过适当选择约束集的参数化，可以高效地求得全局最优解。此外，DPC的计算代价极低，可与任何现有求解器集成。我们在合成数据集和真实数据集上评估了所提出的DPC规则。实验结果表明，DPC在识别非活跃特征方面非常有效——尤其对于高维数据——可实现高达数个数量级的加速。
引用
@article{arxiv.1505.04073,
title = {Safe Screening for Multi-Task Feature Learning with Multiple Data Matrices},
author = {Jie Wang and Jieping Ye},
journal= {arXiv preprint arXiv:1505.04073},
year = {2015}
}