使用云无服务器计算的可扩展宇宙AI推理
计算机视觉与模式识别
2025-10-10 v3 天体物理仪器与方法
摘要
大规模天文图像数据处理和预测对天文学家至关重要，为天体、宇宙历史及其演化提供了关键见解。虽然现代深度学习模型提供了高预测精度，但它们通常需要大量的计算资源，使其资源密集且限制了可访问性。我们引入了基于云的宇宙推理（CAI）框架来应对这些挑战。这种可扩展的解决方案通过函数即服务（FaaS）将预训练的基础模型与无服务器云基础设施集成。CAI无需大量硬件即可在天文图像上实现高效且可扩展的推理。以用于红移预测的基础模型作为案例研究，我们的广泛实验涵盖了用户设备、HPC（高性能计算）服务器和云。使用AstroMAE模型进行红移预测展示了CAI的可扩展性和效率，在仅28秒内完成了12.6 GB数据集的推理，而HPC GPU需要140.8秒，HPC CPU需要1793秒。CAI还实现了显著更高的吞吐量，达到18.04十亿比特每秒（bps），并且随着数据大小的增加，推理时间几乎保持不变，而计算成本极低（每次实验低于5美元）。我们还处理了高达1 TB的大规模数据，以展示CAI在大规模下的有效性。因此，CAI为天文学界提供了一个高度可扩展、可访问且成本效益高的推理解决方案。代码可在https://github.com/UVA-MLSys/AI-for-Astronomy获取。
引用
@article{arxiv.2501.06249,
title = {Scalable Cosmic AI Inference using Cloud Serverless Computing},
author = {Mills Staylor and Amirreza Dolatpour Fathkouhi and Md Khairul Islam and Kaleigh O'Hara and Ryan Ghiles Goudjil and Geoffrey Fox and Judy Fox},
journal= {arXiv preprint arXiv:2501.06249},
year = {2025}
}