Neo：将混淆矩阵可视化推广至层次化与多输出标签

混淆矩阵是帮助人们评估机器学习模型的普遍可视化工具，它是一种将预测类标签与实际类标签在所有数据实例上进行比较的表格布局。我们在苹果公司(Apple)对机器学习从业者进行了形成性研究，发现传统混淆矩阵不支持现代应用中更复杂的诸如层次化与多输出标签的数据结构。为表达此类混淆矩阵的变体，我们设计了一种将混淆矩阵建模为概率分布的代数。基于该代数，我们开发了 Neo——一个可视化分析系统，使从业者能够灵活编写与交互层次化及多输出混淆矩阵、可视化派生指标、重新归一化混淆矩阵并共享矩阵规范。最后，我们通过三个模型评估场景展示了 Neo 的效用，这些场景帮助人们更好地理解模型性能并揭示隐藏的混淆。