企业级AI采购的成本透明度

最新进展在大型语言模型(LLM)方面显著提升了在广泛任务上的性能，推动了企业快速采纳。然而，企业采购这些AI服务的成本却未得到充分研究。不同于传统软件许可，其成本在使用前可预测；但商业LLM服务按输入文本和生成输出token计费。关键在于，企业可以控制输入，但对输出token的控制有限，这些输出token由生成动态决定，远离企业控制。本研究表明，语言风格的细微变化会系统性地改变输出token数量而不影响响应质量。通过对OpenAI API的实验，本研究揭示了非礼貌提示显著增加输出token，从而导致更高的企业成本和额外收入。礼貌性仅是更广泛现象的一个实例，即语言结构可驱动不可预测的成本波动。对于集成LLM于应用程序的企业而言，这种不可预测性使预算规划受阻，削弱了企业间业务情境下的透明度。通过展示最终用户行为如何通过输出token计数链接到企业成本，本工作凸显了当前定价模型的不透明，呼吁新的方法以确保LLM服务采购的可预测性和透明度。