结合决策树反馈的交互式强化学习特征选择
机器学习
2020-10-07 v1 机器学习
摘要
我们研究自动化特征选择中效率与效果平衡的问题。在探索多种特征选择方法后，我们观察到一种计算困境：1）传统特征选择大多高效，但难以识别最优子集；2）新兴的强化特征选择可自动导航至最优子集，但通常效率低下。我们能否在自动化下弥合效果与效率之间的差距？受此困境启发，我们旨在开发一种新颖的特征空间导航方法。在初步工作中，我们利用交互式强化学习通过外部训练器-智能体交互加速特征选择。在本期刊版本中，我们提出一种新颖的交互式闭环架构，以同时建模交互式强化学习（IRL）与决策树反馈（DTF）。具体而言，IRL 用于创建交互式特征选择循环，DTF 用于将结构化特征知识反馈至该循环。首先，利用决策树产生的树状特征层次结构改进状态表示。特别地，我们将所选特征子集表示为特征-特征相关性的无向图与决策特征的有向树。我们提出一种新的嵌入方法，能够使图卷积网络从图与树中联合学习状态表示。其次，利用树状特征层次结构开发新的奖励方案。特别地，我们基于决策树特征重要性对智能体进行个性化奖励分配。此外，观察到智能体的动作可作为反馈，我们设计另一种奖励方案，基于历史动作记录中特征选择频率比进行加权与奖励分配。最后，我们在真实数据集上展示大量实验以证明性能提升。
引用
@article{arxiv.2010.02506,
title = {Interactive Reinforcement Learning for Feature Selection with Decision Tree in the Loop},
author = {Wei Fan and Kunpeng Liu and Hao Liu and Yong Ge and Hui Xiong and Yanjie Fu},
journal= {arXiv preprint arXiv:2010.02506},
year = {2020}
}
备注
arXiv admin note: substantial text overlap with arXiv:2008.12001