Pychop：数值方法与神经网络中低精度算术的仿真
软凝聚态物质
2025-04-11 v1
摘要
受低精度算术在计算科学中日益增长的需求的驱动，我们在Python中利用低精度仿真——这一广为人知的是用于数值分析和机器学习的主导编程语言。低精度训练通过实现更高效的计算、减少内存和能源消耗，同时保持模型保真度，彻底改变了深度学习。为更好地支持对低精度计算的数值实验和探索，我们开发了Pychop库，支持可定制的浮点格式和全套四舍五入模式，使用户能够在众多应用中受益于快速、低精度仿真。Pychop还引入了针对PyTorch和JAX的接口，使其能够在GPU上实现神经网络训练和推理的高效低精度仿真，具有前所未有的灵活性。本文对Pychop的设计、实现、验证和实际应用进行了全面阐述，确立了其作为推进高效混合精度算法的基础工具的地位。此外，我们在使用已发布数据集进行图像分类和目标检测的低精度仿真实验中，展示了其效果，揭示了低精度使用的敏感性，并提供了有价值的洞见。Pychop使人能够深入探讨数值精度的影响，促进新型硬件加速器的开发，并无缝集成到现有的深度学习工作流程中。软件和实验代码已公开available at https://github.com/inEXASCALE/pychop。
引用
@article{arxiv.2504.07834,
title = {Inverse Design of Block Polymer Materials with Desired Nanoscale Structure and Macroscale Properties},
author = {Vinson Liao and Arthi Jayaraman},
journal= {arXiv preprint arXiv:2504.07834},
year = {2025}
}