RESQUE：面向任务与分布偏移的量化估计器及可持续模型复用
机器学习
2024-12-23 v1 人工智能
计算机视觉与模式识别
摘要
作为深度学习可持续性的一种策略，通过重新训练来复用现有模型，而非从头训练新模型，是至关重要的。在本文中，我们提出了表征偏移量化估计器（REpresentation Shift QUantifying Estimator，RESQUE），这是一种预测性量化器，用于估计模型在面临分布偏移或任务变化时的重训练成本。它提供了一个简洁的单一指标，用于估计重训练模型所需的资源。通过大量实验，我们表明 RESQUE 与多种重训练度量指标具有强相关性。我们的结果验证了 RESQUE 在训练轮数、梯度范数、参数幅度变化、能耗和碳排放方面是一个有效的指标。对于新任务、多种噪声类型以及不同程度的噪声强度，这些度量指标与 RESQUE 吻合良好。因此，RESQUE 使用户能够针对不同任务/分布偏移的重训练做出明智决策，并确定最具成本效益和最可持续的方案，从而允许复用模型并大幅降低其环境足迹。本工作的代码可在此处获取：https://github.com/JEKimLab/AAAI2025RESQUE
引用
@article{arxiv.2412.15511,
title = {RESQUE: Quantifying Estimator to Task and Distribution Shift for Sustainable Model Reusability},
author = {Vishwesh Sangarya and Jung-Eun Kim},
journal= {arXiv preprint arXiv:2412.15511},
year = {2024}
}
备注
The Annual AAAI Conference on Artificial Intelligence (AAAI), 2025