CoFEH：由 LLM 驱动的协作贝叶斯超参数优化下的特征工程
机器学习
2026-05-22 v2
摘要
特征工程（FE）是自动机器学习（AutoML）中的关键环节，但传统方法因僵化的搜索空间和缺乏领域感知而成为瓶颈。虽然大语言模型（LLM）通过语义推理生成无限制的操作符为 FE 提供了前景，但现有方法仅聚焦于特征生成等孤立子任务，难以实现自由形式的 FE 流水线。此外，这些方法很少与下游机器学习模型的超参数优化（HPO）耦合，导致采用“FE 然后 HPO”的贪心工作流程，无法捕获 FE 与 HPO 之间的强烈相互作用。在本文中，我们提出 CoFEH，一个交错 LLM 驱动的 FE 与贝叶斯 HPO 协作框架，用于 robust 的 end-to-end AutoML。CoFEH 使用基于 Tree of Thought（TOT）的 LLM 驱动 FE 优化器探索灵活的 FE 流水线，采用贝叶斯优化（BO）模块求解 HPO，并引入动态优化器选择器，适时交错 FE 和 HPO 步骤。关键的是，我们引入一种相互条件机制，在 LLM 和 BO 之间共享上下文，实现相互信息的决策。实验表明，CoFEH 在独立 FE 和联合 FE+HPO 两种场景下均优于传统方法和基于 LLM 的基线。
引用
@article{arxiv.2602.09851,
title = {CoFEH: LLM-driven Feature Engineering Empowered by Collaborative Bayesian Hyperparameter Optimization},
author = {Beicheng Xu and Keyao Ding and Wei Liu and Yupeng Lu and Bin Cui},
journal= {arXiv preprint arXiv:2602.09851},
year = {2026}
}
备注
Accepted at KDD 2026. Extended version with full appendices