焦点熵的函数性质

焦点损失已成为类别不平衡分类问题中交叉熵的广泛替代方案，尤其在计算机视觉领域。尽管其实证成功已显而易见，但关于焦点熵的系统性信息论研究仍不完整。本文我们采用分布视角，研究焦点熵——一种类似交叉熵的焦点损失。我们的分析建立了有限性、凸性和连续性的条件，提供了各种渐近特征。我们证明了焦点熵最小化器的存在唯一性，描述了其结构，并展示了其与数据分布可显著偏离。在特别是极端类别不平衡情况下，焦点损失放大中等概率，抑制高概率结果，并在极端类别不平衡下诱导出一种过度抑制 regime，其中非常小的概率被进一步削弱。这些结果经过实验验证，为理解焦点损失提供了理论基础，并阐明了其在应用于不平衡学习任务时所引入的权衡。