探索 Rashomon 集合中特征交互分数的云图
机器学习
2024-02-13 v2
摘要
特征之间的交互是理解机器学习模型行为的核心。最近的研究在检测和量化单一预测模型中的特征交互方面取得了重大进展。然而，我们认为从单一预先指定的模型中提取的特征交互可能不可信，因为：训练良好的预测模型可能无法保留真实的特征交互，且存在多个性能良好但在特征交互强度上有所差异的预测模型。因此，我们建议在具有近似同等准确率的预测模型类中探索特征交互强度。在本工作中，我们在 Rashomon 集合（即在给定任务上达到相似准确率的模型集合）的背景下引入了特征交互分数（FIS）。我们提出了一种通用且实用的算法来计算模型类中的 FIS。我们通过合成数据展示了 FIS 的性质，并将其与统计学的其他领域建立联系。此外，我们引入了 Halo 图用于可视化高维空间中的特征交互方差，以及用于分析 Rashomon 集合中 FIS 的 swarm 图。针对累犯预测和图像分类的实验表明，对于准确率相似的预测模型，特征交互在重要性上可能存在巨大差异。我们的结果表明，所提出的 FIS 可以为理解机器学习模型中特征交互的本质提供有价值的见解。
关键词
引用
@article{arxiv.2305.10181,
title = {Exploring the cloud of feature interaction scores in a Rashomon set},
author = {Sichao Li and Rong Wang and Quanling Deng and Amanda Barnard},
journal= {arXiv preprint arXiv:2305.10181},
year = {2024}
}