损失函数与 T-范数之间的关系
机器学习
2019-07-19 v1 机器学习
摘要
深度学习已在计算机视觉和自然语言处理等多个领域取得了令人瞩目的成果。这一成功的关键要素之一是新损失函数的开发，例如流行的交叉熵损失，其已被证明能在极深结构中提供更快的收敛速度并缓解梯度消失问题。虽然交叉熵损失通常从概率角度进行解释，但本文给出了该损失在 t-范数及其关联生成函数方面的另一种更直接解释，并推导了损失函数与 t-范数之间的一般关系。特别地，所呈现的工作展示了一些引人入胜的结果，从而催生了一类新型损失函数。这些损失可用于任何监督学习任务，并可能带来比常用的交叉熵损失更快的收敛速度。
引用
@article{arxiv.1907.07904,
title = {On the relation between Loss Functions and T-Norms},
author = {Francesco Giannini and Giuseppe Marra and Michelangelo Diligenti and Marco Maggini and Marco Gori},
journal= {arXiv preprint arXiv:1907.07904},
year = {2019}
}