基于 Token 流量市场清算的生成式 AI 服务位置定价

生成式 AI 服务处于早期但快速扩张的阶段。提供者在模型能力和服务质量上进行竞争，而底层基础设施在地域、工作负载和计算资产方面昂贵且异构。如果这些服务扩散到日常常规使用，相关的工程问题不仅是更好的模型，还包括对地理分布式 AI 服务基础设施的高效调度。为此，我们构建一个受网络约束的 token 流量市场，对计算节点和通信链路上的 AI 工作负载进行清算。基线模型是一个线性规划，协同优化路由和处理，受计算容量和带宽约束限制；其对偶变量定义位置和工作负载相关的边际服务价格。我们进一步引入感知传输的扩展模型，在物理单位上定价数据传输，并隔离带宽拥塞租金。在一个包含 5 个节点的美国案例研究中，感知传输模型发现四条被饱和的主干链路，相对于 token 等效基线将总运营成本提高 2.7%，而将聊天机器人延迟限制从 100ms 提升到 15ms 则使一个位置价格提高 117%。20 节点的规模提升显示相同的 merit-order 调度逻辑，并在需求超过总体容量时变得不可行。这些结果表明，位置定价是运营新兴 AI 服务基础设施的有用组织原则，以及随着时间推移，设计围绕其建立竞争性市场的有用方法。