StackGenVis：利用性能指标对齐堆叠集成学习的数据、算法与模型

在机器学习（ML）中，装袋、提升和堆叠等集成方法是广泛建立的方法，经常取得顶尖的预测性能。堆叠（Stacking，也称“堆叠泛化”）是一种集成方法，它组合了至少一层中排列的异构基模型，然后使用另一个元模型来总结这些模型的预测。尽管这可能是提高ML预测性能的一种高效方法，但从头开始生成模型堆叠可能是一个繁琐的试错过程。这一挑战源于可用解决方案的巨大空间，包括可用于训练的不同数据实例和特征集、多种可供选择的算法，以及这些算法使用不同参数（即模型）的实例化，这些模型根据各种指标表现各异。在这项工作中，我们提出了一个知识生成模型，该模型支持使用可视化进行集成学习，以及一个用于堆叠泛化的可视化分析系统。我们的系统StackGenVis帮助用户动态调整性能指标、管理数据实例、为给定数据集选择最重要的特征、选择一组性能最佳且多样化的算法，并测量预测性能。因此，我们提出的工具帮助用户在不同模型之间做出决策，并通过移除过度承诺和表现不佳的模型来降低最终堆栈的复杂性。通过两个用例展示了StackGenVis的适用性和有效性：一个真实世界的医疗保健数据集和一个与文本情感/立场检测相关的数据集集合。最后，通过对三位ML专家的访谈对该工具进行了评估。