关于根归一化顺序感知散度及其变体以及基于 Kendall's τ 的散度的研究

本文报道了对 Sakai 所报告工作的后续研究，该工作探索了适用于序数量化任务的评价指标。更具体地说，除了先前考虑的量化指标外，本研究定义并评估了几种称为根归一化顺序感知散度（RNOD）的序数量化指标的变体，以及我们称之为基于 Kendall's $\tau$ 的散度（DNKT）的指标。RNOD 变体代表了基于 Sakai 的距离加权平方和（DW）思想的替代设计方案，而 DNKT 旨在确保系统对各类别的估计分布忠实于各类别的目标优先级。由于 DNKT 的优先级保持特性（PPP）在某些应用中可能有用，我们还考虑将一些现有的量化指标与 DNKT 结合。我们在八个序数量化数据集上的实验表明，至少就系统排序一致性（即系统排序对测试数据选择的鲁棒性）而言，RNOD 的变体相对于原始 RNOD 没有任何优势。在本研究考虑的所有序数量化指标（包括归一化匹配距离，又称推土机距离）中，RNOD 是总体上最鲁棒的度量。因此，从这一角度看，RNOD 的设计选择是良好的。此外，DNKT 在系统排序一致性方面表现最差。因此，如果 DNKT 看似适合某项任务，样本量设计应将其统计不稳定性考虑在内。