由 T-模生成的机器学习损失函数
人工智能
2023-02-16 v5 计算机科学中的逻辑
摘要
神经符号方法近来广受欢迎，用于将先验知识注入学习器，而无需其从数据中归纳出这些知识。这些方法有可能以显著减少的监督数据量学习到具有竞争力的解。一大类神经符号方法基于一阶逻辑来表示先验知识，并使用模糊逻辑将其松弛为可微分形式。本文表明，表达这些神经符号学习任务的损失函数可以在选定 t-模生成器后明确确定。当限于监督学习时，所提出的理论框架为流行的交叉熵损失提供了清晰的合理性解释，该损失已被证明能在非常深的结构中提供更快的收敛并缓解梯度消失问题。然而，所提出的学习公式将交叉熵损失的优势扩展到可由神经符号方法表示的通用知识。因此，该方法允许开发一类新颖的损失函数，实验结果表明其收敛速度快于文献中先前提出的方法。
引用
@article{arxiv.1907.11468,
title = {T-Norms Driven Loss Functions for Machine Learning},
author = {Giuseppe Marra and Francesco Giannini and Michelangelo Diligenti and Marco Maggini and Marco Gori},
journal= {arXiv preprint arXiv:1907.11468},
year = {2023}
}