论期望准确率
机器学习
2019-05-03 v1 机器学习
摘要
我们实证研究了(负)期望准确率作为分类任务中交叉熵(负对数似然)的替代损失函数。结合 softmax 激活,其在大部分定义域上导数很小,因此难以优化。一个修正的 leaky 版本在多种分类任务上进行了评估,包括数字识别、图像分类、序列标注和树标注,使用了多种神经架构如逻辑回归、多层感知机、CNN、LSTM 和 Tree-LSTM。我们展示其取得了与交叉熵相当或更好的准确率。此外,所提出的损失函数对标签噪声更具鲁棒性。
引用
@article{arxiv.1905.00448,
title = {On Expected Accuracy},
author = {Ozan İrsoy},
journal= {arXiv preprint arXiv:1905.00448},
year = {2019}
}