无监督机器学习的下一个重大突破：来自婴儿学习的五条经验
机器学习
2020-09-21 v1 人工智能
计算机视觉与模式识别
神经与进化计算
摘要
在监督式深度学习流行之后，降低对精心整理、带标签数据集的依赖并利用海量无标签数据的愿望，近期重新引发了人们对无监督学习算法的兴趣。尽管由于解耦潜在表示识别、对比学习和聚类优化等方法，性能已有显著提升，无监督机器学习的表现仍不及其所假定的潜力。机器学习此前从神经科学和认知科学中汲取灵感并取得巨大成功。然而，这大多基于具备标签和大量先验知识的成人学习者。为推动无监督机器学习前进，我们认为婴儿认知的发展科学可能掌握着开启下一代无监督学习方法的关键。从概念上讲，人类婴儿学习是人工无监督学习最接近的生物类比，因为婴儿同样必须从无标签数据中学习有用的表示。与机器学习相比，这些新表示学习迅速且仅需相对较少的样本。此外，婴儿学习到的鲁棒表示可灵活高效地用于多种不同任务和情境。我们识别出使婴儿学习质量与速度得以提升的五个关键因素，评估它们在机器学习中已被利用的程度，并提议进一步采纳这些因素如何能使无监督学习达到前所未有的性能水平。
引用
@article{arxiv.2009.08497,
title = {The Next Big Thing(s) in Unsupervised Machine Learning: Five Lessons from Infant Learning},
author = {Lorijn Zaadnoordijk and Tarek R. Besold and Rhodri Cusack},
journal= {arXiv preprint arXiv:2009.08497},
year = {2020}
}