众数凸代理损失的一致性与维度权衡

在针对$n$个结果的多类分类中，为了设计出不受数据分布影响并能导向“正确”分类的一致性代理损失，必须将结果嵌入到维度至少为$n-1$的实数空间中。对于信息检索和结构化预测任务中的大$n$值情况，在$n-1$维空间中优化代理损失通常是不可行的。我们研究了在多类分类中权衡代理损失维度、问题实例数量以及限制单纯形中一致性区域的方法。遵循以往的工作，我们考察了一种直观的嵌入过程，该过程将结果映射到低维代理空间中凸多胞形的顶点。我们表明，在每个点质量分布周围都存在一致性成立的全维单纯形子集；但也指出，在维度小于$n-1$时，存在某些分布会导致一种称为“幻觉”的现象，即在代理损失下的最优报告是一个概率为零的结果。面向应用，我们推导出了一个结果，用于在给定多胞形嵌入和低噪声假设下检查一致性是否成立，从而洞察何时使用特定的嵌入。我们提供了在低噪声假设下将$n = 2^{d}$个结果嵌入$d$维单位超立方体以及将$n = d!$个结果嵌入$d$维置换多面体的示例。最后，我们证明了通过多个问题实例，我们可以在整个单纯形上以$\frac{n}{2}$的维度学习众数。