可靠量化机器学习模型的损失景观分析：面向科学感知

在本文中，我们提出了一种对机器学习（ML）模型损失景观进行经验分析的方法。该方法应用于两个用于科学感知的 ML 模型，这些模型需要量化才能部署，并且受到实验条件引起的噪声和扰动的影响。我们的方法允许评估 ML 模型对这些效应的鲁棒性，作为量化精度和不同正则化技术的函数——这两个关键问题此前尚未得到充分探索。通过研究性能、效率和鲁棒性之间的相互作用，我们建立了平滑损失景观与对输入和权重扰动的鲁棒性之间的强相关性，并观察到了其他有趣且非明显的现象。我们的方法允许在不训练和测试多个模型的情况下先验地系统探索此类权衡，从而实现更高效的开发流程。这项工作还强调了在 ML 模型的帕累托优化中纳入鲁棒性的重要性，使科学感知系统更加可靠和自适应。