利用认知增强提升 SLM 的推理能力
密码学与安全
2024-04-02 v1 人工智能
摘要
大型语言模型 (LLM) 已被应用于自动化网络安全活动与流程，包括网络调查和数字取证。然而，将此类模型用于网络调查和数字取证时，应解决问责制和安全性考量。问责制确保模型具备提供可解释推理和结果的能力。这些信息可以通过显式的提示请求来提取。对于安全性考量，在数据处理过程中解决涉及数据的隐私和机密性也至关重要。应对这一考量的一种方法是使用模型的本地实例在本地处理数据。由于本地可用资源（即内存和 GPU 容量）的限制，通常会使用小型大型语言模型 (SLM)。与 LLM 相比，这些 SLM 的参数要少得多。然而，这种规模的缩减会导致显著的性能下降，尤其是在被要求提供推理解释时。在本文中，我们旨在通过整合人类用于解决问题的认知策略来缓解性能下降。我们将此称为通过提示进行认知增强。我们的实验表明，应用此类增强后，SLM 的性能获得了显著提升。我们相信，这项探索性研究为进一步研究使用认知增强来优化网络安全应用中的 SLM 铺平了道路。
引用
@article{arxiv.2404.01135,
title = {Enhancing Reasoning Capacity of SLM using Cognitive Enhancement},
author = {Jonathan Pan and Swee Liang Wong and Xin Wei Chia and Yidi Yuan},
journal= {arXiv preprint arXiv:2404.01135},
year = {2024}
}