将知识封装于单一提示中
计算机视觉与模式识别
2024-07-17 v1
摘要
这种范式将来自各种模型的知识封装到单一的提示中，而无需修改原始模型或访问训练数据，从而实现在更真实场景中的高效便捷知识迁移。从实用性角度看，本范例首次证明了在数据不可及的情境下 Visual Prompt 的有效性，同时解决了传统数据免费知识迁移中模型可重用性差和存储资源消耗高的问题，这意味着我们可以在不修改任何源模型的情况下实现多个模型的并行知识迁移。广泛的实验在各种数据集和模型上都表明了所提出的 KiOP 知识迁移范式的有效性。即便在缺乏真实训练数据且存储容量受到严格限制的情况下，它在处理跨模型 backbone 设置和处理多个（超过 2 个）模型的并行知识迁移请求时，也能取得相当出色的效果。
引用
@article{arxiv.2407.11902,
title = {Encapsulating Knowledge in One Prompt},
author = {Qi Li and Runpeng Yu and Xinchao Wang},
journal= {arXiv preprint arXiv:2407.11902},
year = {2024}
}