基于类别哈希表示与分层强化交叉的自优化特征生成
机器学习
2023-09-15 v2
摘要
特征生成旨在生成新的有意义特征以创建具有判别力的表示空间。当一个生成特征来自具有内在特征交互的特征对时，该生成特征是有意义的。在现实世界中，经验丰富的数据科学家能够从指数级大的搜索空间中，以最优生成路径上的最优交叉形式，识别潜在有用的特征-特征交互，并生成有意义的维度。但机器具备类人能力有限。我们将此类学习任务泛化为自优化特征生成。自优化特征生成对现有系统提出了若干未被充分解决的挑战：有意义、鲁棒且高效的生成。为应对这些挑战，我们提出一个原则性且通用的表示-交叉框架来解决自优化特征生成。为实现哈希表示，我们提出三步法：特征离散化、特征哈希与描述性汇总。为实现强化交叉，我们开发了分层强化特征交叉方法。我们给出了大量实验结果以证明所提方法的有效性与高效性。代码见 https://github.com/yingwangyang/HRC_feature_cross.git。
引用
@article{arxiv.2309.04612,
title = {Self-optimizing Feature Generation via Categorical Hashing Representation and Hierarchical Reinforcement Crossing},
author = {Wangyang Ying and Dongjie Wang and Kunpeng Liu and Leilei Sun and Yanjie Fu},
journal= {arXiv preprint arXiv:2309.04612},
year = {2023}
}