InFi：面向移动端推理资源效率的端到端输入过滤学习框架
人工智能
2023-06-08 v3
摘要
以移动端为中心的 AI 应用对模型推理的资源效率有很高要求。输入过滤是一种有前景的方法，可消除冗余从而降低推理成本。以往工作针对许多应用定制了有效方案，但留下两个未解决的本质问题：(1) 推理负载的理论可过滤性，以指导输入过滤技术的应用，从而避免资源受限的移动应用付出试错代价；(2) 特征嵌入的鲁棒可判别性，使输入过滤能对多样化推理任务与输入内容广泛有效。为回答这些问题，我们首先形式化输入过滤问题，并从理论上比较推理模型与输入过滤器的假设复杂度，以理解优化潜力。随后提出首个端到端可学习的输入过滤框架，其涵盖大多数 SOTA 方法，并在特征嵌入的鲁棒可判别性上超越它们。我们设计并实现了支持六种输入模态与多种移动端部署的 InFi。综合评估证实了我们的理论结果，并表明 InFi 在适用性、准确率和效率上优于强基线。在移动平台的一个视频分析应用中，InFi 实现了 8.5 倍吞吐并节省 95% 带宽，同时保持超过 90% 的准确率。
引用
@article{arxiv.2209.13873,
title = {InFi: End-to-End Learning to Filter Input for Resource-Efficiency in Mobile-Centric Inference},
author = {Mu Yuan and Lan Zhang and Fengxiang He and Xueting Tong and Miao-Hui Song and Zhengyuan Xu and Xiang-Yang Li},
journal= {arXiv preprint arXiv:2209.13873},
year = {2023}
}
备注
IEEE Transactions on Mobile Computing (TMC) 2023