NVCiM-PT：一种面向边缘LLMs的NVCiM辅助提示微调框架

部署在边缘设备上的大语言模型 (LLMs)，即边缘LLMs，需要在有限的资源约束下，利用用户生成的数据持续微调其模型参数。然而，大多数现有的学习方法不适用于边缘LLMs，因为它们依赖于高资源和低学习能力。提示微调 (PT) 最近已成为一种有效的边缘LLMs微调方法，仅需修改一小部分LLM参数，但它受到用户域偏移的影响，导致重复训练并丧失资源效率。解决域偏移问题的传统技术通常涉及复杂的神经网络和复杂的训练，这与边缘LLMs的PT不兼容。因此，一个开放的研究问题是如何在资源有限的情况下解决边缘LLMs的域偏移问题。在本文中，我们提出了一种面向边缘LLMs的提示微调框架，利用非易失性存内计算 (NVCiM) 架构的优势。我们引入了一种新颖的NVCiM辅助PT框架，其中我们将核心操作缩小为矩阵-矩阵乘法，然后可以通过在NVCiM上执行原位计算来加速。据我们所知，这是首次利用NVCiM来提升边缘LLM PT性能的工作。