通过与概率电路交互进行超参数优化
机器学习
2025-05-26 v1 人工智能
摘要
尽管交互式超参数优化（HPO）方法受关注，但目前仅少数能纳入人类反馈。现有交互式贝叶斯优化（BO）方法通过对获取函数加权用户先验分布实现人类信念嵌入，但因获取函数内层优化复杂，这类加权方案常难准确体现用户信念。我们引入新型 BO 方法，采用名为概率电路（PCs）的可计算概率模型作为代理模型。PCs 对混合超参数空间与评估得分编码可计算联合分布，支持精确条件推断与抽样。基于条件抽样，我们构建新型选择策略，实现无获取函数的候选点生成（消除内层优化需求），并确保用户信念在选择策略中准确体现。我们提供理论分析与广泛实证评估，表明该方法在标准 HPO 中达到最新性能，交互式 BO 中优于基线方法。
引用
@article{arxiv.2505.17804,
title = {Hyperparameter Optimization via Interacting with Probabilistic Circuits},
author = {Jonas Seng and Fabrizio Ventola and Zhongjie Yu and Kristian Kersting},
journal= {arXiv preprint arXiv:2505.17804},
year = {2025}
}