从压缩模型分析CompactifAI的准确性与能耗
机器学习
2025-07-15 v1 性能
摘要
本研究评估了由Multiverse Computing开发的名为CompactifAI的压缩方法应用于大型语言模型Llama 3.1 8B的性能。评估侧重于模型效率（以能源消耗为指标）和准确性，分别使用Codecarbon和Ragas框架。在原始模型版本与使用CompactifAI压缩后的模型之间进行了比较。我们的发现表明，使用CompactifAI压缩后的模型不仅显著减少了计算资源，还保持了模型准确性，使模型更加高效、可扩展且成本效益更高。
引用
@article{arxiv.2507.08836,
title = {Accuracy and Consumption analysis from a compressed model by CompactifAI from Multiverse Computing},
author = {Damien Fovet and Shashank Chamoli and Sarah Oury and Srishti Singhal},
journal= {arXiv preprint arXiv:2507.08836},
year = {2025}
}