校准多元回归及其在神经语义基发现中的应用
机器学习
2017-06-06 v2 机器学习
摘要
我们提出了一种名为 CMR 的校准多元回归方法，用于拟合高维多元回归模型。与现有方法相比，CMR 根据每个回归任务的噪声水平校准正则化，从而同时实现更优的有限样本性能和调参不敏感性。理论上，我们提供了 CMR 在参数估计中达到最优收敛速率的充分条件。计算上，我们提出了一种高效的平滑近端梯度算法，其最坏情况数值收敛速率为 ，其中 是目标函数值的预设精度。我们进行了详尽的数值模拟，表明 CMR 始终优于其他高维多元回归方法。我们还将 CMR 应用于解决脑活动预测问题，发现其竞争力可与人类专家构建的手工模型相媲美。实现该方法的 R 包 \texttt{camel} 可在综合 R 档案网络 \url{http://cran.r-project.org/web/packages/camel/} 获取。
引用
@article{arxiv.1305.2238,
title = {Calibrated Multivariate Regression with Application to Neural Semantic Basis Discovery},
author = {Han Liu and Lie Wang and Tuo Zhao},
journal= {arXiv preprint arXiv:1305.2238},
year = {2017}
}
备注
Journal of Machine Learning Research, 2015