FastFT：通过高级探索策略加速强化特征变换
机器学习
2025-03-27 v1 人工智能
摘要
特征变换是经典机器学习中至关重要的环节，旨在生成特征组合以提升下游任务的性能。当前方法，如手动专家驱动流程、迭代反馈技术和探索生成策略，虽在减少人工参与方面取得了一些成果，但仍面临三个挑战：(1) 主要依赖下游任务性能指标，评估耗时，尤其是大数据集上更为突出；(2) 随机探索后特征组合的多样性难以得到保证；(3) 稀有的显著变换导致反馈稀疏，阻碍学习进程或导致结果不够有效。为应对这些挑战，我们引入 FastFT 框架，运用一组先进策略。我们首先通过性能预测器将特征变换评估从生成数据集的结果中解耦。为解决奖励稀疏问题，我们 developed 一种评估生成变换序列新颖性的方法。将新颖性纳入奖励函数后，加速了模型对有效变换的探索，从而提升了搜索效率。此外，我们将新颖性和性能结合，创建了优先级记忆缓冲区，确保在探索过程中关键经验得到有效复访。我们的广泛实验评估验证了该框架在性能、效率和可追溯性方面的优势，展示了其在处理复杂特征变换任务方面的优越性。
引用
@article{arxiv.2503.20394,
title = {FastFT: Accelerating Reinforced Feature Transformation via Advanced Exploration Strategies},
author = {Tianqi He and Xiaohan Huang and Yi Du and Qingqing Long and Ziyue Qiao and Min Wu and Yanjie Fu and Yuanchun Zhou and Meng Xiao},
journal= {arXiv preprint arXiv:2503.20394},
year = {2025}
}
备注
14 pages, Accepted by ICDE 2025