基于主动推断的判别神经网络分类器优化
机器学习
2023-06-06 v1 人工智能
摘要
用于判别神经网络分类器有监督优化的常用目标函数（损失）要么基于分布，要么基于度量。基于分布的损失可能损害泛化能力，或导致对不平衡类样本分布中主导类的分类偏置。基于度量的损失可使网络模型独立于任何分布，从而改善泛化。然而，它们仍可能偏向主导类，并且当某一类在参考（真值）与预测标签中均缺失时，会遭受不一致问题。在本文中，我们提出了一种新颖的优化过程，不仅解决了训练样本类样本分布的不平衡问题，还提供了一种机制来处理训练样本参考标签中的错误。这是通过提出一种新算法（从训练样本的先验概率与网络上当前估计的后验中寻找候选分类标签）以及用于优化的新目标函数来实现的。该算法是将广义 Kelly 准则用于最优下注推广至多类分类问题的结果。所提出的目标函数是预期前景主动推断的自由能，可纳入候选标签、原始参考标签与训练样本的先验，同时仍基于分布。将先验纳入优化不仅有助于处理参考标签中的错误，还可通过将神经网络注意力集中于重要但少数的前景类，来减少对主导类的分类偏置。
引用
@article{arxiv.2306.02447,
title = {Active Inference-Based Optimization of Discriminative Neural Network Classifiers},
author = {Faezeh Fallah},
journal= {arXiv preprint arXiv:2306.02447},
year = {2023}
}