具有概率解释的零一损失的新平滑近似

我们研究了一种零一损失平滑近似的新形式，其中学习是使用广泛使用的logistic函数的重新表述来进行的。我们的方法基于使用新颖的广义Beta-Bernoulli公式的后验均值。这导致了近似零一损失的广义logistic函数，但保留了赋予许多有用性质的概率公式。该方法容易推广到核logistic回归，并容易集成到结构化预测方法中。我们提出了实验，其中我们使用由梯度下降和坐标下降结合局部网格搜索组成的优化方法来学习此类模型，以逃离局部极小值。我们的实验表明，当使用验证集优化学习元参数本身时，优化质量得到改善。我们的实验显示了相对于广泛使用的logistic和hinge损失方法在各种各样问题上的改进性能，范围从标准UC Irvine和libSVM评估数据集到产品评论预测和视觉信息提取任务。我们观察到该方法：1) 与logistic和hinge损失相比对离群值更鲁棒；2) 在更大规模基准问题上优于可比较的logistic和最大间隔模型；3) 当与参数的高斯-拉普拉斯混合先验结合时，我们公式的核化版本产生比支持向量机分类器更稀疏的解；4) 当集成到概率结构化预测技术中时，我们的方法提供更准确的概率，产生改进的推断并提升信息提取性能。