Agentic Decentralized Knowledge Optimization
机器学习
2026-05-11 v1
摘要
我们提出Agentic Decentralized Knowledge Optimization (ADKO)，一种实现跨自主代理协作黑盒优化的框架，具备样本效率、隐私保护、异构目标处理及通信效率。每个代理维护基于本地数据训练的私有高斯过程(GP)代理，通过知识令牌进行通信——这些紧凑、有损的摘要包含方向信号、优势得分及可选语言模型(LM)洞察，无需共享原始数据或模型参数。ADKO统一了GP-Upper Confidence Bound(GP-UCB)、并行贝叶斯优化、去中心化学习及LM引导发现。我们首次对双信息损失进行形式化分析：令牌压缩通过互信息基于保真度量化，LM近似误差分解为偏差与随机噪声。主要结果表明累积风险分解为GP误差、LM偏差、LM噪声及压缩损失，给出亚线性风险的必要充分条件。我们还提出保真度感知的令牌修剪方案，在内存预算下保留高信息令牌。神经网络结构搜索及科学发现实验验证了理论并显示优于强基线的一致性提升。
关键词
引用
@article{arxiv.2605.07863,
title = {ADKO: Agentic Decentralized Knowledge Optimization},
author = {Lucas Nerone Rillo and Zhanhong Jiang and Nastaran Saadati and Aditya Balu and Baskar Ganapathysubramanian and Chinmay Hegde and Soumik Sarkar},
journal= {arXiv preprint arXiv:2605.07863},
year = {2026}
}
备注
31 pages