达尔文式模型升级：具备选择性兼容性的模型演化
计算机视觉与模式识别
2022-10-14 v1
摘要
传统的检索模型升级范式要求在部署新模型之前重新计算所有图库嵌入（称为“回填”），考虑到工业应用中数十亿的实例规模，这种做法极其昂贵且耗时。BCT 朝着免回填的向后兼容模型升级迈出了第一步。它是可行的，但由于无差别的兼容性约束，使新模型陷入新特征判别力与新旧兼容性之间的两难境地。在本工作中，我们提出达尔文式模型升级（DMU），通过选择性向后兼容与向前适应分别解耦模型演化中的遗传与变异。旧到新的可遗传知识由旧特征判别力来衡量，图库特征（尤其是那些质量较差的）以轻量方式演化，以在新潜在空间中更具适应性。我们通过在大规模地标检索与人脸识别基准上的综合实验证明了 DMU 的优越性。DMU 有效缓解了新到新的性能退化并改善了新旧兼容性，为大规模检索系统提供了更恰当的模型升级范式。
引用
@article{arxiv.2210.06954,
title = {Darwinian Model Upgrades: Model Evolving with Selective Compatibility},
author = {Binjie Zhang and Shupeng Su and Yixiao Ge and Xuyuan Xu and Yexin Wang and Chun Yuan and Mike Zheng Shou and Ying Shan},
journal= {arXiv preprint arXiv:2210.06954},
year = {2022}
}