Pychop：用于数值方法和神经网络中低精度算术仿真

受低精度算术在计算科学中日益增长的需求驱动，我们利用 Python 中的低精度仿真技术——这一被广泛认为是数值分析和机器学习主导编程语言。低精度训练已通过实现更高效的计算、减少内存和能源消耗，同时保持模型保真度，彻底变革了深度学习。为更好地支持数值实验中对低精度计算的探索与实验，我们开发了 Pychop 库，支持可定制的浮点格式和全面的舍入模式集合，使用户能够在众多应用中受益于快速、低精度仿真。Pychop 还引入了针对 PyTorch 和 JAX 的接口，使其能够在 GPU 上实现神经网络训练和推断的高效低精度仿真，具有前所未有的灵活性。本文对 Pychop 的设计、实现、验证和实际应用进行了全面阐述，将其确立为推动高效混合精度算法发展的基础工具。此外，我们呈现了使用已发布数据集进行图像分类和目标检测的低精度仿真实验结果，说明了低精度使用的敏感性，并为其影响提供了宝贵的见解。Pychop 使人们能够深入调查数值精度的影响，促进新型硬件加速器的开发，并无缝集成到现有的深度学习工作流程中。软件和实验代码已公开可访问于 https://github.com/inEXASCALE/pychop。