用于序列标注的AUC最大化深度卷积神经场
机器学习
2015-11-23 v2 机器学习
摘要
深度卷积神经网络（DCNN）已在各种机器学习任务中展现出优异性能。本文提出深度卷积神经场（DeepCNF），即DCNN与条件随机场（CRF）的结合，用于具有高度不平衡标签分布的序列标注。广泛使用的训练方法，如最大似然和最大标签精度，在高度不平衡数据上表现不佳。为此，我们提出一种称为最大AUC（maximum-AUC）的DeepCNF新训练算法。即，我们通过直接最大化经验ROC曲线下面积（AUC）来训练DeepCNF，AUC是不平衡数据的无偏度量。为此，我们在成对排序框架中表述AUC，用多项式函数近似它，然后应用基于梯度的过程优化它。随后我们在三个非常不同的蛋白质序列标注任务上测试了AUC最大化的DeepCNF：溶剂可及性预测、8态二级结构预测和无序预测。我们的实验结果证实，由于8态二级结构预测和无序预测的标签分布高度不平衡，最大AUC在这两个任务上大大优于其他两种训练方法，而在具有三个均匀分布标签的溶剂可及性预测问题上与其他两种训练方法性能相似。此外，我们的实验结果还表明，我们AUC训练的DeepCNF模型大大优于现有流行的这三项任务的预测器。
引用
@article{arxiv.1511.05265,
title = {AUC-maximized Deep Convolutional Neural Fields for Sequence Labeling},
author = {Sheng Wang and Siqi Sun and Jinbo Xu},
journal= {arXiv preprint arXiv:1511.05265},
year = {2015}
}
备注
Under review as a conference paper at ICLR 2016