基于自注意力网络的特征重要性估计
机器学习
2021-01-19 v1 机器学习
摘要
黑盒神经网络模型在工业与科学中被广泛使用，却难以被理解和解释。近来，注意力机制被引入，为神经语言模型的内部运作提供了洞见。本文探索将基于注意力的神经网络机制用于估计特征重要性，以此作为解释从命题（表格）数据中所学习模型的一种手段。由所提出的自注意力网络（SAN）架构评估的特征重要性估计，与实践中广泛使用的成熟方法ReliefF、互信息和基于随机森林的估计进行了比较。我们首次在十个真实与合成数据集上对跨算法的特征重要性估计进行无尺度比较，以研究所得特征重要性估计的异同，表明SAN识别出的高排名特征与其他方法相似。我们证明SAN能够识别特征交互，这在某些情况下比基线取得更好的预测性能，说明注意力不仅限于少数几个关键特征的交互，还能检测出与所考虑学习任务相关的更大特征子集。
引用
@article{arxiv.2002.04464,
title = {Feature Importance Estimation with Self-Attention Networks},
author = {Blaž Škrlj and Sašo Džeroski and Nada Lavrač and Matej Petkovič},
journal= {arXiv preprint arXiv:2002.04464},
year = {2021}
}
备注
Accepted for publication in ECAI 2020