损失函数的几何与演算

统计决策问题处于统计机器学习的中心。最简单的问题是二分类、多分类以及类概率估计。其定义的核心在于损失函数的选择，它是评估解之质量的手段。本文从一新视角系统发展此类问题的损失函数理论，其基本构件是具有特定结构的凸集。损失函数定义为该凸集支撑函数的次梯度。因此它自动是恰当的（对概率估计已校准）。该视角提供三个新机会：它建立了损失与（反）范数之间的基本关系，这似乎此前未被注意到；其次，它使得由凸集演算诱导的损失演算得以发展，允许在不同损失间插值，因此是定制损失以适配特定问题的潜在有用设计工具。在此过程中我们基于并大幅扩展了关于凸集的$M$-和的已有结果；第三，该视角导出自然的“极”损失函数理论，其由定义损失的凸集的极对偶导出，并构成Vovk聚合算法的自然通用替代函数。