基于凹共轭理论理解自步学习
机器学习
2018-05-22 v1 机器学习
摘要
通过模拟人类/动物的由易到难学习方式，称为课程学习（CL）和自步学习（SPL）的学习机制近来被研究并引起广泛兴趣。然而，分析此类学习机制为何有效的内在机理尚未被全面研究。针对此问题，本文提出一种凹共轭理论以深入考察CL/SPL的内在洞察。具体而言，利用该理论，我们证明了SPL机制与一个潜在凹目标函数的等价性，该函数与统计学和机器学习中广泛使用的已知非凸正则化惩罚密切相关。超越先前解释CL/SPL洞察的理论，这一新理论框架一方面为特定任务设计新SPL模型提供了两种直接途径，另一方面可帮助推导自步课程学习（SPCL）的潜在目标——SPCL是CL/SPL的高级版本，并在一定程度上兼具两种学习机制的优势。这进一步促进了对SPCL的理论理解，而非如传统仅针对CL/SPL。在该理论下，我们试图获取两种课程形式（偏序课程与分组课程）的内在潜在目标，从而易于遵循相应SPCL机制的理论理解。
引用
@article{arxiv.1805.08096,
title = {Understanding Self-Paced Learning under Concave Conjugacy Theory},
author = {Shiqi Liu and Zilu Ma and Deyu Meng},
journal= {arXiv preprint arXiv:1805.08096},
year = {2018}
}