利用高斯过程优化神经网络超参数进行对话行为分类
计算与语言
2016-09-29 v1 神经与进化计算
机器学习
摘要
基于人工神经网络(ANN)的系统在许多自然语言处理任务中取得了state-of-the-art的结果。尽管ANN不需要人工设计特征，但其有许多需要优化的超参数。超参数的选择显著影响模型性能。然而，ANN的超参数通常通过人工、网格或随机搜索来选择，这要么需要专家经验，要么计算成本高昂。近期基于使用高斯过程(GP)的贝叶斯优化的方法，是一种更系统地自动确定最优或近优机器学习超参数的方式。使用一个先前发表的、在对话行为分类中取得state-of-the-art结果的ANN模型，我们证明了利用GP优化超参数可以进一步提升结果，并且与随机搜索相比将计算时间减少了4倍。因此，这是一种用于微调ANN模型以在自然语言处理任务中取得最佳性能的有用技术。
引用
@article{arxiv.1609.08703,
title = {Optimizing Neural Network Hyperparameters with Gaussian Processes for Dialog Act Classification},
author = {Franck Dernoncourt and Ji Young Lee},
journal= {arXiv preprint arXiv:1609.08703},
year = {2016}
}
备注
Accepted as a conference paper at IEEE SLT 2016. The two authors contributed equally to this work