评估模型偏见：刻画其错误之处
机器学习
2024-07-16 v1 机器学习
摘要
正确评估模型面对虚假关联情况下的性能能力对于构建更好的预测器以及提高对模型按预期运行的信心至关重要。我们展示了通过跨子组刻画 (而非仅仅量化) 模型错误是正确反映模型偏见的关键，这些偏见被标准指标如最差组准确率或准确率间隙所忽略。借鉴假设检验框架，我们引入 SkewSize 这一原则且灵活的指标，以捕捉模型预测错误中的偏见。它可用于多类设置或推广至生成模型的开放词汇表设置。在每种情况下，所提出的 SkewSize 都能够揭示其他指标未捕捉到的偏见，同时还能提供关于最近方法（如指令调优）影响的见解。
引用
@article{arxiv.2407.10633,
title = {Evaluating Model Bias Requires Characterizing its Mistakes},
author = {Isabela Albuquerque and Jessica Schrouff and David Warde-Farley and Taylan Cemgil and Sven Gowal and Olivia Wiles},
journal= {arXiv preprint arXiv:2407.10633},
year = {2024}
}
备注
17 pages, 6 figures, ICML 2024