生成式大语言模型基础及其在赛博防御中的展望
计算与语言
2023-03-23 v1 密码学与安全
机器学习
摘要
生成式语言模型在2022年末至2023年初获得了显著关注，尤其是引入了经微调以一致符合用户对AI交互预期（对话模型）的模型。可以说公众关注的焦点是GPT3模型的此类微调——ChatGPT及其后续与辅助能力的集成，包括作为微软Bing一部分的搜索。尽管前期投入了大量研究开发，其性能及对一系列日常任务的适用性此前仍不清晰且属小众。然而，无需技术专长即可更广泛地使用（很大程度上由对话式微调实现），揭示了其在真实环境中的真实能力范围。这既引发了公众对其潜在应用的兴奋，也带来了对其能力及潜在恶意使用的担忧。本综述旨在简要概述生成式语言模型的历史、现状与影响，涉及其原理、能力、局限性与未来前景——尤其在赛博防御背景下，并聚焦于瑞士运维环境。
引用
@article{arxiv.2303.12132,
title = {Fundamentals of Generative Large Language Models and Perspectives in Cyber-Defense},
author = {Andrei Kucharavy and Zachary Schillaci and Loïc Maréchal and Maxime Würsch and Ljiljana Dolamic and Remi Sabonnadiere and Dimitri Percia David and Alain Mermoud and Vincent Lenders},
journal= {arXiv preprint arXiv:2303.12132},
year = {2023}
}
备注
41 pages (without references), 13 figures; public report of Cyber-Defence Campus