EnviroLLM：本地AI的资源追踪与优化

大语言模型（LLMs）越来越多地被本地部署以实现隐私和可访问性，但用户缺乏测量其资源使用、环境影响和效率指标的工具。本文提出了EnviroLLM，一个用于追踪、基准测试和优化在个人设备上运行LLM时的性能和能源消耗的开源工具包。该系统提供实时进程监控、跨多个平台（Ollama、LM Studio、vLLM和OpenAI兼容API）的基准测试、带有可视化功能的持久化存储以进行纵向分析，以及个性化的模型和优化建议。该系统包含LLM-as-judge评估以及能源和速度指标，使用户能够在使用自定义提示测试模型时评估质量-效率权衡。