在预测学习的同时学习停止
机器学习
2020-06-11 v1 机器学习
摘要
近来，基于传统算法中的更新步骤设计深度架构，或学习神经网络以改进和替代传统算法，引起了广泛关注。虽然传统算法具有在特定迭代输出结果的停止准则，许多受算法启发的深度模型对所有输入都受限于“固定深度”。与传统算法类似，深度架构的最优深度可能因不同输入实例而异，既是为了避免“过度思考”，也是因为我们希望对已收敛的操作计算更少。在本文中，我们使用一种可操控架构来解决这一可变深度问题，其中前馈深度模型与变分停止策略一同学习，以顺序确定每个输入实例的最优层数。训练此类架构极具挑战性。我们提供了变分贝叶斯视角，并设计了一种新颖而有效的训练流程，将该任务分解为预言模型学习阶段与模仿阶段。在实验中，我们展示了所学深度模型与停止策略在多种任务上提升了性能，包括学习稀疏恢复、少样本元学习和计算机视觉任务。
引用
@article{arxiv.2006.05082,
title = {Learning to Stop While Learning to Predict},
author = {Xinshi Chen and Hanjun Dai and Yu Li and Xin Gao and Le Song},
journal= {arXiv preprint arXiv:2006.05082},
year = {2020}
}
备注
Proceedings of the 37th International Conference on Machine Learning