基于大语言模型的下游应用风险评估引擎——GUARD-D-LLM
计算机与社会
2024-06-19 v1 人机交互
摘要
在日益加剧的AI系统带来不利影响的担忧日益增长，风险管理在高风险应用中尤为重要，欧盟AI法案亦对此作出要求。ISO和NIST提供的指南旨在治理AI风险管理，但实际实施在学术论文中仍寥寥。针对这一空白，本研究探索大语言模型（LLM）下游应用所产生的风险，构建了基于前期研究的风险分类框架。基于此基础，我们引入一种新型LLM驱动的风险评估引擎（GUARD-D-LLM：Guided Understanding and Assessment for Risk Detection for Downstream use of LLMs），旨在定位并排序与特定用例相关的威胁。该方法集成三十个智能代理，创新性地识别定制化风险、评估其严重程度、提供针对性缓解建议，并促进风险感知开发。本文还记录了该方法的局限性及未来发展建议，以提升专家在风险评估中的作用，从而利用GUARD-D-LLM在早期识别风险并实现早期缓解。本论文及其关联代码将为寻求缓解LLM应用风险的开发者提供宝贵资源。
关键词
引用
@article{arxiv.2406.11851,
title = {GUARD-D-LLM: An LLM-Based Risk Assessment Engine for the Downstream uses of LLMs},
author = {sundaraparipurnan Narayanan and Sandeep Vishwakarma},
journal= {arXiv preprint arXiv:2406.11851},
year = {2024}
}