欧氏神经网络中的层次化学习

等变机器学习方法近年来在 3D 学习应用中取得了广泛成功。这些模型显式地构建了欧氏空间的反射、平移和旋转对称性，并在物理科学的一系列应用中大幅提升了精度与数据效率。等变模型的一个悬而未决的问题是，它们为何能在这些应用中取得超出预期的进展。为探究此问题，我们考察了欧氏神经网络（\texttt{e3nn}）中高阶（非标量）特征的作用。我们聚焦于先前研究的 \texttt{e3nn} 在电子密度预测问题上的应用，该问题允许多种非标量输出，并考察输出的性质（标量 $l=0$、矢量 $l=1$ 或高阶 $l>1$）是否与网络中非标量隐藏特征的有效性相关。此外，我们考察了非标量特征在训练过程中的行为，发现了按 $l$ 的自然特征层次，令人联想到多极展开。我们期望我们的工作最终能为 {\tt e3nn} 网络的设计原则与领域应用选择提供指导。