用于预测模型可重用性的聚合表示度量
机器学习
2024-05-17 v1 人工智能
计算机视觉与模式识别
计算机与社会
摘要
本文提出一种预测量化器，用于估计在分布迁移情况下的训练模型重新训练成本。 proposed 的聚合表示度量（ARM）量化了模型表示从旧数据分布到新数据分布的变化。它在实际重新训练模型之前，提供一个简洁的资源指数——包括训练时长、能源消耗和碳排放——所需的资源。这使得能够以远低于从头训练新模型的成本重新使用模型。实验结果表明，ARM 在不同噪声强度下合理地预测重新训练成本，并能够在多个模型架构之间进行比较，以确定最具成本效益和可持续性的选项。
引用
@article{arxiv.2405.09600,
title = {Aggregate Representation Measure for Predictive Model Reusability},
author = {Vishwesh Sangarya and Richard Bradford and Jung-Eun Kim},
journal= {arXiv preprint arXiv:2405.09600},
year = {2024}
}