具有本地数据保护的协作 LLM 数值推理
人工智能
2025-11-11 v2
摘要
对文档进行数值推理需要具备上下文理解和逻辑推理能力，这对计算受限设备上的低容量本地模型而言具有挑战性。虽然可以将复杂推理查询路由到像 GPT-4 这样的强大远程模型，但暴露本地数据会引发重大的数据泄露风险。现有的缓解措施生成问题描述或示例以供远程协助，但数值推理的内在复杂性阻碍了本地模型生成等价查询并准确推断答案。本文提出了一种模型协作框架，包含两个关键创新：(1) 一种基于上下文的合成策略，既保留推理模式又转移查询主题；(2) 一种基于工具的答案重构方法，可重复使用远程生成的即插即用解决方案。实验结果表明，我们的方法在保持更好推理准确率的同时，提供了比完全依赖远程模型更强的数据保护。此外，我们的方法相对于现有数据保护方法，在准确率提升 16.2% - 43.6% 的同时，将数据泄露降低 2.3% - 44.6%。
引用
@article{arxiv.2504.00299,
title = {Collaborative LLM Numerical Reasoning with Local Data Protection},
author = {Min Zhang and Yuzhe Lu and Yun Zhou and Panpan Xu and Lin Lee Cheong and Chang-Tien Lu and Haozhu Wang},
journal= {arXiv preprint arXiv:2504.00299},
year = {2025}
}
备注
Accepted to AAAI-2026