PTSBench: 面向算法与模型的综合后训练稀疏性基准测试
人机交互
2024-12-11 v1
摘要
随着对模型效率的关注不断增加，后训练稀疏性（PTS）因其有效性和高效性而变得越来越普遍。然而，关于 PTS 算法的最佳实践和模型稀疏化能力的问题仍然存在，这阻碍了该领域的进一步发展。因此，迫切需要一个基准来全面调查上述问题。在本文中，我们提出了第一个面向算法与模型的综合后训练稀疏性基准 PTSBench。我们在 3 个典型任务上对 10 多种 PTS 通用可插拔细粒度技术进行了基准测试，使用了 40 多种现成模型架构。通过广泛的实验和分析，我们获得了有价值的结论，并从算法和模型两个方面提供了若干见解。我们的 PTSBench 可以提供：（1）对 PTS 算法更好理解的新观察，（2）对模型稀疏化能力的深入全面评估，以及（3）一个结构良好、易于集成的开源框架。我们希望这项工作能为后训练稀疏性方法和利于稀疏化的模型设计未来研究提供启发性的结论和建议。我们的 PTSBench 代码已发布于 \href{https://github.com/ModelTC/msbench}{https://github.com/ModelTC/msbench}。
引用
@article{arxiv.2412.07267,
title = {AppGen: Mobility-aware App Usage Behavior Generation for Mobile Users},
author = {Zihan Huang and Tong Li and Yong Li},
journal= {arXiv preprint arXiv:2412.07267},
year = {2024}
}