特征重要性的多面性：文本分类中内置与事后特征重要性的比较
计算与语言
2019-10-21 v1 计算机与社会
人机交互
机器学习
摘要
特征重要性常用于解释机器预测。尽管可通过多种方法从机器学习模型中导出特征重要性，但不同方法所得特征重要性的一致性仍缺乏充分研究。在本工作中，我们系统地比较了模型内置机制（如注意力值）与近似模型行为的事后方法（如 LIME）所得的特征重要性。以文本分类为试验平台，我们发现：1）无论使用何种方法，SVM 和 XGBoost 等传统模型的重要特征彼此之间更为相似，而非与深度学习模型相似；2）相较于内置方法，事后方法对两个模型生成的重要特征更为相似。我们进一步展示了这种相似性如何随样本实例变化。值得注意的是，当两个模型对预测标签一致时，重要特征并不总比它们不一致时彼此更相似。
引用
@article{arxiv.1910.08534,
title = {Many Faces of Feature Importance: Comparing Built-in and Post-hoc Feature Importance in Text Classification},
author = {Vivian Lai and Jon Z. Cai and Chenhao Tan},
journal= {arXiv preprint arXiv:1910.08534},
year = {2019}
}
备注
17 pages, 18 figures, EMNLP 2019, the code is available at https://vivlai.github.io/