学习后向兼容的嵌入
机器学习
2022-06-08 v1 信息检索
机器学习
摘要
嵌入（对象的低维向量表示）是构建现代机器学习系统的基础。在工业环境中，通常有一个嵌入团队训练嵌入模型以解决预期任务（例如产品推荐）。所生成的嵌入随后被广泛由消费团队用于解决其非预期任务（例如欺诈检测）。然而，随着嵌入模型为提升预期任务性能而更新并重训练，新生成的嵌入与现有消费模型不再兼容。这意味着历史版本的嵌入永远无法退役，否则所有消费团队必须重训练其模型以兼容最新版嵌入，而两者在实践中成本都极高。本文研究嵌入版本更新及其后向兼容问题。我们形式化了该问题：目标是嵌入团队持续更新嵌入版本，而消费团队无需重训练其模型。我们开发了基于学习后向兼容嵌入的解决方案，其允许嵌入模型版本频繁更新，同时使最新版嵌入可快速转换为任意后向兼容的历史版本，从而消费团队不必重训练模型。在我们的框架下，探索了六种方法并在真实推荐系统应用上系统评估。我们表明最佳方法（称为 BC-Aligner）即使在多次模型版本更新后仍与非预期任务保持后向兼容。同时，BC-Aligner 在预期任务上取得了与仅为预期任务优化的嵌入模型相近的性能。
引用
@article{arxiv.2206.03040,
title = {Learning Backward Compatible Embeddings},
author = {Weihua Hu and Rajas Bansal and Kaidi Cao and Nikhil Rao and Karthik Subbian and Jure Leskovec},
journal= {arXiv preprint arXiv:2206.03040},
year = {2022}
}
备注
KDD 2022, Applied Data Science Track