后验概率与最优相似性之间的关系

对于由联合密度 $P(\omega,x)$ 描述的分类问题，$P(\omega\eq\omega'|x,x')$ 模型（即“贝叶斯相似性度量”）已被证明是最近邻分类的最优相似性度量。本文分析并展示了该条件分布的几个额外性质。文章首先表明，给定 $P(\omega\eq\omega'|x,x')$，我们可以重构类后验分布 $P(\omega|x)$（直至类标签），给出了恢复类标签的过程，并提供了一种渐近贝叶斯最优的分类程序。文章还展示了给定这种最优相似性度量时，如何构建一个优于最近邻分类器并实现贝叶斯最优分类率的分类器。随后，文章在分类器面临多个相关分类任务（多任务学习）的框架下分析了贝叶斯相似性，并说明了类后验分布的重构在一般情况下是不可能的。最后，文章识别出一类使用 $P(\omega\eq\omega'|x,x')$ 的独特分类问题，并表明使用该度量解决这些问题是贝叶斯最优解。