教育老师：教师-学生光滑性对齐在基于遗传编程的符号蒸馏中的作用

通过对在目标数据集上训练的深度神经网络进行基于遗传编程的符号蒸馏,可获得人类可读符号公式,这是一个具有前景但尚未充分探索的可解释人工智能 (XAI) 路径;然而,标准管道经常产生预测准确性差的符号模型。我们识别出功能复杂度中的根本性误差是实现更好准确性的主要障碍:标准的人工神经网络 (ANN) 常常学习准确但高度不规则的函数,而符号回归则通常优先考虑简洁性,常常导致 much simpler 的模型类,无法充分蒸馏或学习来自 ANN 教师的知识。为填补这一差距,我们提出了一个框架,通过 Jacobian 和 Lipschitz 惩罚主动正则化教师的函数光滑性,旨在蒸馏出优于标准管道的更好学生模型。我们通过涉及20个数据集和50次独立试验的稳健研究来刻画预测准确性和功能复杂度之间的权衡。我们的结果表明,与标准管道相比,来自光滑正则化教师的学生在 R^2 分数上实现了统计上显著的改进。我们还对学生模型算法进行了消融研究。我们的发现表明,教师和学生模型之间的光滑性对齐是符号蒸馏的关键因素。