基于RAG的用户画像:用于混合精度Over-the-Air联邦学习的精确规划
机器学习
2025-03-21 v1 人机交互
摘要
混合精度计算是AI中广泛应用的技术,为精度与效率之间的更大权衡空间提供了可能。最近提出的混合精度Over-the-Air联邦学习(MP-OTA-FL)使客户端能够根据其异构硬件 operating at appropriate precision levels,以利用更大的权衡空间,同时覆盖混合精度调制方案中的量化开销,以进行OTA聚合过程。进一步探索MP-OTA-FL框架潜力的关键在于优化客户端精度水平。精度水平的选择取决于包括硬件能力、潜在贡献和用户满意度等多种因素,其中一些因素可能难以定义或量化。本文提出了一种基于RAG的用户画像框架用于精度规划,该框架集成了检索增强型大语言模型和动态客户画像,以优化满意度和贡献。该框架包括用于收集设备/用户洞察的混合接口,以及存储历史量化决策和反馈的RAG数据库。实验表明,我们的方法在MP-OTA-FL系统中提升了满意度、能源节省和全局模型精度。
引用
@article{arxiv.2503.15569,
title = {RAG-based User Profiling for Precision Planning in Mixed-precision Over-the-Air Federated Learning},
author = {Jinsheng Yuan and Yun Tang and Weisi Guo},
journal= {arXiv preprint arXiv:2503.15569},
year = {2025}
}
备注
5 pages, 4 figures, 2 tables, submitted to IEEE VTC 2025 fall for possible publication