主题建模黑盒优化
机器学习
2025-12-19 v1 人工智能
计算与语言
神经与进化计算
摘要
在潜在狄利克雷分布（LDA）中选择主题数 是一个关键设计决策，直接影响主题模型的统计拟合度和可解释性。本文将 的选择形式化为离散黑盒优化问题，其中每个函数评估对应于训练 LDA 模型并衡量其验证困惑度。在固定评估预算下，我们比较了四类优化器：两种手工设计的进化方法——遗传算法（GA）和演化策略（ES），以及两种学习型的 amortized 方法——优先放大黑盒优化（PABBO）和锐利感知黑盒优化（SABBO）。我们的实验表明，尽管 GA、ES、PABBO 和 SABBO 最终都接近相同的困惑度区间，但 amortized 优化器 在样本效率和时间效率方面显著优于非 amortized 方法。SABBO 通常在几乎单一次评估后即可识别近似最优的主题数，PABBO 则在少数几次评估内即可找到具竞争力的配置，而 GA 和 ES 几乎需要耗尽整个预算才能接近相同区域。
关键词
引用
@article{arxiv.2512.16445,
title = {Topic Modelling Black Box Optimization},
author = {Roman Akramov and Artem Khamatullin and Svetlana Glazyrina and Maksim Kryzhanovskiy and Roman Ischenko},
journal= {arXiv preprint arXiv:2512.16445},
year = {2025}
}