用于高效在线贝叶斯回归的元学习先验
机器人学
2018-11-01 v2 机器学习
摘要
高斯过程 (Gaussian Process, GP) 回归因其通用性、使用简便以及贝叶斯预测的实用性，在机器人学中得到了广泛应用。GP 回归的主要实现方式是基于非参数核的方法，因其能够拟合任意非线性函数。然而，该方法存在两个主要缺陷：(1) 计算效率低，因计算复杂度随样本数量增长而急剧恶化；(2) 数据效率低，因为通过选择核及其超参数来编码可辅助模型的先验知识通常困难且不直观。本文中，我们提出 ALPaCA，一种解决上述问题的有效贝叶斯回归算法。ALPaCA 利用一组样本函数数据集学习特定领域的有限维特征编码，以及关联权重的先验，使得在该特征空间中的贝叶斯线性回归能够准确在线预测后验预测密度。这些特征为神经网络，通过元学习（或称“学会学习”）方法进行训练。ALPaCA 直接从数据集中提取所有先验信息，而非将先验信息局限于核超参数的选择。此外，通过在权重空间中运算，它显著降低了样本复杂度。我们在两个简单回归问题、两个仿真机器人系统以及人类执行的变道驾驶任务上考察了 ALPaCA 的性能。我们发现该方法优于基于核的 GP 回归以及最先进的元学习方法，从而为机器人学中许多对可扩展性与数据效率有要求的回归任务提供了一种有前景的即用工具。
引用
@article{arxiv.1807.08912,
title = {Meta-Learning Priors for Efficient Online Bayesian Regression},
author = {James Harrison and Apoorva Sharma and Marco Pavone},
journal= {arXiv preprint arXiv:1807.08912},
year = {2018}
}
备注
Workshop on the Algorithmic Foundations of Robotics (WAFR), 2018