Spotlight：一种发现深度学习模型系统性错误的通用方法
机器学习
2021-10-19 v2 机器学习
摘要
监督学习模型常常在数据的稀有子集上犯系统性错误。当这些子集对应于数据中的显式标签（例如性别、种族）时，此类较差性能可以被直接识别。本文介绍了一种用于发现不对应于此类显式标记子群的系统性错误的方法。其核心思想是，相似的输入在神经网络的最终隐藏层中往往具有相似表示。我们利用这一结构，通过在该表示空间上“打探照灯（shining a spotlight）”来寻找模型表现较差的连续区域。我们表明，该spotlight在涵盖计算机视觉、NLP和推荐系统的多种现有模型中，能够揭示出语义上有意义的薄弱区域。
引用
@article{arxiv.2107.00758,
title = {The Spotlight: A General Method for Discovering Systematic Errors in Deep Learning Models},
author = {Greg d'Eon and Jason d'Eon and James R. Wright and Kevin Leyton-Brown},
journal= {arXiv preprint arXiv:2107.00758},
year = {2021}
}