将 MLE 的有效性从准确率延伸至成对比较中的偏差
机器学习
2019-06-12 v1 信息论
math.IT
机器学习
摘要
许多应用（如 AI bot 锦标赛、体育、同伴互评、众包）使用成对比较数据与 Bradley-Terry-Luce (BTL) 模型来评估给定的一组条目（如 bot、队伍、学生、搜索结果）。已有工作表明，在 BTL 模型下，广泛使用的最大似然估计器 (MLE) 在估计条目参数时，就均方误差而言是极小极大最优的。然而，设计估计器的另一重要期望是公平性。本工作中，我们将公平性建模为统计学中偏差这一概念。我们证明 MLE 在偏差方面承受次优速率。随后，我们提出对 MLE 的简单修正：将最大似然优化器的边界框从底层真实域拉伸一个小常数因子。我们证明这一简单修正带来了偏差上的改进速率，同时保持均方误差的极小极大最优性。以此方式，我们提出的估计器类在无需损失准确率的情况下可证明地改善了由偏差代表的公平性。
引用
@article{arxiv.1906.04066,
title = {Stretching the Effectiveness of MLE from Accuracy to Bias for Pairwise Comparisons},
author = {Jingyan Wang and Nihar B. Shah and R. Ravi},
journal= {arXiv preprint arXiv:1906.04066},
year = {2019}
}