用广义 Fenchel-Young 损失学习能量网络
机器学习
2022-10-13 v2 机器学习
摘要
基于能量的模型，亦称能量网络，通过优化通常由神经网络参数化的能量函数来进行推断。这使得人们能够捕捉输入与输出之间潜在复杂的关系。为学习能量函数的参数，该优化问题的解通常被送入一个损失函数。训练能量网络的关键挑战在于计算损失梯度，因为这通常需要 argmin/argmax 微分。本文基于广义共轭函数概念——以一般能量函数取代通常的双线性配对——提出广义 Fenchel-Young 损失，一种用于学习能量网络的自然损失构造。我们的损失具备诸多理想性质，且其梯度可在无需 argmin/argmax 微分的情况下高效计算。我们还证明了在线性-凹能量情形下其超额风险的校准性。我们在多标签分类与模仿学习任务上展示了我们的损失。
引用
@article{arxiv.2205.09589,
title = {Learning Energy Networks with Generalized Fenchel-Young Losses},
author = {Mathieu Blondel and Felipe Llinares-López and Robert Dadashi and Léonard Hussenot and Matthieu Geist},
journal= {arXiv preprint arXiv:2205.09589},
year = {2022}
}