结合 Transformer 与强化学习的两阶段特征生成
机器学习
2025-05-29 v1
摘要
特征生成是机器学习中的关键步骤，旨在通过捕获数据内的复杂关系并生成有意义的新特征来提升模型性能。传统的特征生成方法严重依赖领域专业知识和人工干预，使得该过程耗时费力，且难以适应不同场景。尽管自动特征生成技术在某种程度上解决了这些问题，但它们通常面临特征冗余、特征空间探索效率低下以及对不同数据集和任务适应性有限等挑战。为了解决这些问题，我们提出了两阶段特征生成（TSFG）框架，该框架将基于 Transformer 的编码器-解码器架构与近端策略优化（PPO）相结合。TSFG 中的编码器-解码器模型利用 Transformer 的自注意力机制来高效地表示和转换特征，捕获数据内的复杂依赖关系。PPO 通过根据特定任务的反馈动态调整特征生成策略，进一步增强了 TSFG，优化了该过程以提升性能和适应性。TSFG 动态生成高质量特征集，显著提升了机器学习模型的预测性能。实验结果表明，TSFG 在特征质量和适应性方面优于现有的 SOTA 方法。
关键词
引用
@article{arxiv.2505.21978,
title = {Two-Stage Feature Generation with Transformer and Reinforcement Learning},
author = {Wanfu Gao and Zengyao Man and Zebin He and Yuhao Tang and Jun Gao and Kunpeng Liu},
journal= {arXiv preprint arXiv:2505.21978},
year = {2025}
}