面向复杂损失函数优化的极大似然模型稀疏学习
机器学习
2015-11-19 v1
摘要
传统机器学习方法通常最小化一个简单的损失函数以学习预测模型，然后使用一个复杂的性能度量来衡量预测性能。然而，最小化简单损失函数不能保证最优性能。本文中，我们研究直接优化复杂性能度量以获取预测模型的问题。我们提出为此问题构建极大似然模型，并为学习模型参数，最小化对应于所需复杂性能度量的复杂损失函数。为优化该损失函数，我们近似复杂损失的上界。我们还提出对模型参数施加稀疏性以获得稀疏模型。通过结合损失函数的上界与模型参数的稀疏性构造目标函数，并借助快速迭代收缩-阈值算法框架开发迭代算法将其最小化。在三个不同复杂性能度量(包括 F-score、受试者工作特征曲线和查准率-查全率曲线平衡点)上、跨越三个真实应用(民航安全飞机事件识别、无线网状网络入侵检测以及图像分类)的优化实验，显示了所提方法相对于最先进方法的优势。
引用
@article{arxiv.1511.05743,
title = {Sparse learning of maximum likelihood model for optimization of complex loss function},
author = {Ning Zhang and Prathamesh Chandrasekar},
journal= {arXiv preprint arXiv:1511.05743},
year = {2015}
}