用于软等变约束的残差通路先验
机器学习
2021-12-03 v1 机器学习
摘要
在构建足以捕捉现实细微差别的深度学习系统，与具备高效学习所需归纳偏置之间，往往存在权衡。我们引入残差通路先验（RPPs）作为一种将硬性架构约束转换为软先验的方法，引导模型走向结构化解，同时保留捕捉额外复杂性的能力。利用 RPPs，我们构建了具有等变归纳偏置但不限制灵活性的神经网络先验。我们展示了 RPPs 对近似或错误指定的对称性具有鲁棒性，并且即使在对称性精确时也与完全约束模型同样有效。我们在动力系统、表格数据和强化学习中展示了 RPPs 的广泛适用性。在 Mujoco 运动任务中，接触力和方向性奖励违反了严格等变假设，RPP 优于基线无模型 RL 智能体，并改善了用于基于模型 RL 的学习转移模型。
引用
@article{arxiv.2112.01388,
title = {Residual Pathway Priors for Soft Equivariance Constraints},
author = {Marc Finzi and Gregory Benton and Andrew Gordon Wilson},
journal= {arXiv preprint arXiv:2112.01388},
year = {2021}
}
备注
NeurIPS 2021. Code available at https://github.com/mfinzi/residual-pathway-priors