中文

感知特征交互的自动化数据表示变换

机器学习 2024-01-17 v2

摘要

创建有效的表示空间对于缓解维度灾难、增强模型泛化、应对数据稀疏以及更有效地利用经典模型至关重要。自动化特征工程(AutoFE)的近期进展在解决表示学习相关各类挑战上取得显著进步,诸如对密集人工与经验的高度依赖、缺乏可解释的显式性,以及嵌入下游任务中僵化的特征空间重构等问题。然而,这些方法受限于:1)因忽视专家级认知过程,生成潜在不可理解且不合理的重构特征空间;2)缺乏系统性探索,进而导致识别最优特征空间的模型收敛缓慢。为应对这些,我们引入一种交互感知的强化生成视角。我们将特征空间重构重新定义为创建有意义特征并通过选择控制特征集规模的嵌套过程。我们开发了具有级联马尔可夫决策过程的层次强化学习结构,以自动化特征与操作选择以及特征交叉。通过引入统计度量,我们基于所选特征间交互强度对智能体予以奖励,从而实现模拟人类决策的智能且高效的特征空间探索。我们进行了大量实验来验证所提方法。

关键词

引用

@article{arxiv.2309.17011,
  title  = {Feature Interaction Aware Automated Data Representation Transformation},
  author = {Ehtesamul Azim and Dongjie Wang and Kunpeng Liu and Wei Zhang and Yanjie Fu},
  journal= {arXiv preprint arXiv:2309.17011},
  year   = {2024}
}

备注

Accepted to SIAM Conference on Data Mining(SDM) 2024