AERO：面向私有LLM推理的熵导向框架
机器学习
2025-11-03 v3 密码学与安全
摘要
隐私计算使语言模型能够直接在加密数据上进行推理，但由于非线性函数的原因， suffers from 禁忌的延迟和通信开销。消除非线性操作可能触发两种失效模式之一，这限制了非线性消除的潜力：一种是更深层次中的熵崩溃，导致训练不稳定；另一种是早期层次中的熵过载，导致注意力头的 underutilization。为解决这些挑战，我们引入AERO，一种熵导向框架，用于策略性地消除变压器架构中昂贵的非线性操作，该框架通过带有可学习每个注意力头强度的头级熵正则化来实现自适应校准，使每个注意力头能够在惩罚极端熵并通过容差边际来促进功能多样性的同时调整其熵水平。实验表明，AERO可节省3.4倍的通信量和1.4倍的延迟，且无需任何性能惩罚。
引用
@article{arxiv.2410.13060,
title = {AERO: Entropy-Guided Framework for Private LLM Inference},
author = {Nandan Kumar Jha and Brandon Reagen},
journal= {arXiv preprint arXiv:2410.13060},
year = {2025}
}
备注
Revised and retitled from "AERO: Softmax-Only LLMs for Efficient Private Inference''. This version focuses on the deployable AERO pipeline (LayerNorm-free + ReLU + entropy regularization); Softmax-only variants are kept as stress-test ablations