将损失视为概率依赖图的不一致性：选择模型而非损失函数
机器学习
2022-02-25 v1 人工智能
信息论
math.IT
摘要
在一个拥有丰富多样损失函数的世界里，我们主张它们之间的选择并非品味或实用性问题，而是模型问题。概率依赖图（PDGs）是自带“不一致性”度量的概率模型。我们证明许多标准损失函数作为描述相应场景的自然 PDG 的不一致性而出现，并用同一方法论证正则化项与先验之间广为人知的联系。我们还展示 PDG 不一致性捕捉了一大类统计散度，并详述以此方式思考的益处，包括用于推导它们之间不等式的直观可视化语言。在变分推断中，我们发现 ELBO——潜变量模型中略显不透明的目标函数——及其变体如何从无争议的建模假设中自然产生，其相应界的简单图证亦如此。最后，我们观察到在 PDG 为因子图的设定下，不一致性成为对数配分函数（自由能）。
引用
@article{arxiv.2202.11862,
title = {Loss as the Inconsistency of a Probabilistic Dependency Graph: Choose Your Model, Not Your Loss Function},
author = {Oliver E Richardson},
journal= {arXiv preprint arXiv:2202.11862},
year = {2022}
}
备注
to appear in AISTATS22