理解、划分、征服：基于多智能体层次强化学习的特征子空间探索
人工智能
2025-09-17 v2 机器学习
摘要
特征选择旨在预处理目标数据集，找到最优化且最精简的特征子集，从而提升下游机器学习任务的性能。尽管筛选、包装和嵌入式方法各有优势，基于强化学习(RL)的子空间探索策略提供了一种以目标优化为导向的新视角和前景期望性能。然而，即便在性能提升方面，当前的强化学习方法在处理复杂数据集时仍面临与传统方法类似的挑战。这些挑战源于为每个特征使用一个智能体的低效范式以及数据集中固有的复杂性。这一观察促使我们研究上述问题并提出一种新方法，即 HRLFS。我们的 methodology 初期采用基于大型语言模型(LLM)的混合状态提取器来捕获每个特征的数学和语义特征。基于这些信息，对特征进行聚类，从而为每个聚类和子聚类构建层次化智能体。广泛的实验表明，我们方法的效率、可扩展性和鲁棒性。相较于当代或每个特征对应一个智能体的 RL 方法，HRLFS 在迭代特征子空间探索的同时提高了下游 ML 性能，同时通过减少参与的智能体数量加快了总运行时间。
引用
@article{arxiv.2504.17356,
title = {Comprehend, Divide, and Conquer: Feature Subspace Exploration via Multi-Agent Hierarchical Reinforcement Learning},
author = {Weiliang Zhang and Xiaohan Huang and Yi Du and Ziyue Qiao and Qingqing Long and Zhen Meng and Yuanchun Zhou and Meng Xiao},
journal= {arXiv preprint arXiv:2504.17356},
year = {2025}
}
备注
20 pages, keywords: Automated Feature Engineering, Tabular Dataset, Multi-Agent Reinforcement Learning, Feature Selection