中文

动态代理切换:在线推荐中因子分解机配置的采样高效搜索

机器学习 2022-09-30 v1 人工智能

摘要

超参数优化是在给定学习任务下确定机器学习模型合适超参数配置的过程。对于较小数据集,穷举搜索可行;然而当数据规模与模型复杂度增加时,配置评估次数成为主要计算瓶颈。解决此类问题的一个有前景范式是基于代理的优化。该范式核心思想在于考虑一个增量更新的、超参数空间与输出(目标)空间之间关系的模型;该模型数据通过评估主学习引擎获得,例如基于因子分解机的模型。通过学习逼近超参数-目标关系,代理(机器学习)模型可用于对大量超参数配置打分,探索直接学习引擎评估无法触及的配置空间区域。通常,代理在优化初始化前选定并在搜索中保持不变。我们研究了在优化过程中动态切换代理,对于为大规模在线推荐选择最合适基于因子分解机模型是否具有实际意义。我们在含数亿实例的数据集上对照随机森林与高斯过程代理等既定基线进行了基准测试。结果表明,代理切换可在较少学习引擎评估次数下提供良好性能。

关键词

引用

@article{arxiv.2209.14598,
  title  = {Dynamic Surrogate Switching: Sample-Efficient Search for Factorization Machine Configurations in Online Recommendations},
  author = {Blaž Škrlj and Adi Schwartz and Jure Ferlež and Davorin Kopič and Naama Ziporin},
  journal= {arXiv preprint arXiv:2209.14598},
  year   = {2022}
}

备注

https://dl.acm.org/doi/abs/10.1145/3523227.3547384