Talaria：交互式优化机器学习模型以实现高效推理
人机交互
2024-04-05 v1 人工智能
机器学习
摘要
端侧机器学习（ML）将计算从云端转移到个人设备上，保护了用户隐私并实现了智能化的用户体验。然而，在资源受限的设备上部署模型带来了重大的技术挑战：从业者需要优化模型并平衡模型大小、延迟和功耗等硬件指标。为了帮助从业者创建高效的 ML 模型，我们设计并开发了 Talaria：一个模型可视化与优化系统。Talaria 使从业者能够将模型编译到硬件上，交互式地可视化模型统计信息，并模拟优化以测试其对推理指标的影响。自两年前内部部署以来，我们采用三种方法对 Talaria 进行了评估：（1）日志分析，突显了其增长情况，有 800 多名从业者提交了 3,600 多个模型；（2）对 26 名用户进行的可用性调查，评估了 Talaria 20 项功能的实用性；（3）对 7 名最活跃用户进行的定性访谈，了解他们使用 Talaria 的体验。
引用
@article{arxiv.2404.03085,
title = {Talaria: Interactively Optimizing Machine Learning Models for Efficient Inference},
author = {Fred Hohman and Chaoqun Wang and Jinmook Lee and Jochen Görtler and Dominik Moritz and Jeffrey P Bigham and Zhile Ren and Cecile Foret and Qi Shan and Xiaoyi Zhang},
journal= {arXiv preprint arXiv:2404.03085},
year = {2024}
}
备注
Proceedings of the 2024 ACM CHI Conference on Human Factors in Computing Systems