机器学习中的一种新不确定性原理

机器学习语境下的许多科学问题都可以归约为在恰当变量中寻找多项式解。对任意多项式的 Hevisidization 实际上由一种两层表达式提供。阻止其简单想法被实际使用的根本原因是 Heaviside 函数与 sigmoid 函数展开的致命退化问题，这会使最速下降演化在起点附近的山谷底部受限，但远离期望的真实最小值。这个问题是不可避免的，可以表述为一种特殊的不确定性原理——最小值越尖锐，山谷就越平滑。这直接类比常规的不确定性原理，即它是更熟悉的傅里叶展开的相关属性。标准机器学习软件通过经验方式与之搏斗，例如测试起点在随机分布点的演化，然后选择最佳者。意外或不意外的是，机器学习应用于科学时遇到的现象和问题是纯粹的科学现象，属于物理学而非计算机科学。另一方面，它们听起来略有不同，并为众所周知的现象提供了新视角——例如，将不确定性原理从傅里叶甚至后来的小波分析扩展到一种新的特殊 nearly 奇异 sigmoid 函数类。