机器学习：进展与展望

这篇开幕演讲于1996年在伦敦皇家霍洛威大学发表。它涵盖了对机器学习的介绍，并描述了该领域的各种理论进展和实际项目。演讲在此以原始格式呈现，但增加了一些2025年的评论以反映最新发展，并更新了参考文献列表以增强读者的便利性和准确性。机器学习始于何时？一个好的起点可能是1949年，当时Claude Shannon提出了用于下棋程序的学习算法。或者我们可以追溯到1930年代，当时Ronald Fisher开发了判别分析——一种构造分离两类向量决策规则的学习类型。又或者是18世纪David Hume讨论了归纳的思想？或者是14世纪，William of Ockham提出了"简洁性"原则，即"奥卡姆剃刀"（顺便说一下，Ockham是距离皇家霍洛威不远的一个小村庄）。又或者，像西方文明和文化中的几乎所有其他事物一样，这些思想的起源在于地中海。毕竟，是亚里士多德说"我们只有通过做事情才能学到一些东西"。机器学习领域深受其他学科的影响，该学科本身并非一个非常同质的学科，而是包含独立但重叠的子领域。机器学习有许多并行研究线索：归纳学习、神经网络、聚类和学习理论。它们都是更广泛的机器学习领域的一部分。