面向去中心化LLM推理的成本感知PoQ设计与评估
人工智能
2025-12-19 v1
摘要
去中心化大语言模型（LLM）推理承诺提供透明且抗审查的先进AI访问，但现有验证方法难以扩展到现代模型。Proof of Quality（PoQ）将计算验证替换为对输出质量的共识，但原始方案忽略了推理节点和评估节点之间的异构计算成本。本文引入一个成本感知PoQ框架，将显式的效率测量整合到两种节点类型的奖励机制中。该设计组合结合了基于ground truth的token级别F1分数、轻量级学习评估器和基于GPT的判断，纳入统一的评估管道，采用线性奖励函数在归一化质量和成本之间进行平衡。在提取式问答和抽象化摘要任务上进行实验，使用的五个指令调优LLM规模从TinyLlama-1.1B到Llama-3.2-3B，评估模型规模从跨编码器到双编码器不等。结果表明，语义文本相似度双编码器与ground truth和GPT分数之间的相关性显著高于跨编码器，表明评估器架构是PoQ设计中的关键选择。质量-成本分析进一步揭示，池中最大模型也是按单位延迟实现质量的效率最高的模型。对5000轮PoQ仿真结果表明，成本感知奖励方案在分配奖励时始终为高质量低成本推理模型和高效评估器，同时惩罚慢而低质量的节点。这些发现表明，成本感知PoQ为经济可持续的去中心化LLM推理提供了实用的基础。
引用
@article{arxiv.2512.16317,
title = {Design and Evaluation of Cost-Aware PoQ for Decentralized LLM Inference},
author = {Arther Tian and Alex Ding and Frank Chen and Alan Wu and Aaron Chan and Bruce Zhang},
journal= {arXiv preprint arXiv:2512.16317},
year = {2025}
}