HERMES：面向闭环智能医疗应用中实时多模态生理传感、边缘AI与干预的统一开源框架
系统与控制
2026-01-21 v1 机器学习
系统与控制
摘要
智能辅助技术日益被认为是残障人士和年龄相关功能衰退人群日常使用的关键赋能技术。纵向研究、高质量数据集整理、日常生活活动中的实时监测以及智能干预设备，共同面临着一个尚未得到充分解决的、对可靠高通量多模态传感与处理的需求。来自分布式传感器的大规模异构数据流、历史上封闭的软件环境，以及关于实时闭环AI方法的有限前期工作，阻碍了此类应用的发展。为加速临床部署的涌现，我们推出了HERMES——一个用于在边缘进行连续多模态传感和AI处理的开源高性能Python框架。它能够在通用计算设备上实现同步数据采集，以及使用用户PyTorch模型的实时流式推理。HERMES适用于固定实验室和自由生活环境，以及分布式商用和定制传感器。它是首个提供整体方法论的工作，弥合了现实世界实施策略中的跨学科鸿沟，并指导下游AI模型的开发。其在闭环智能假肢用例上的应用，展示了如何根据生成的约束和权衡来开发合适的AI模型。在该用例上的验证，使用4个同步主机协同捕获18种可穿戴和离体模态，证明了HERMES的性能及其与智能医疗领域发展轨迹的相关性。
引用
@article{arxiv.2601.12610,
title = {HERMES: A Unified Open-Source Framework for Realtime Multimodal Physiological Sensing, Edge AI, and Intervention in Closed-Loop Smart Healthcare Applications},
author = {Maxim Yudayev and Juha Carlon and Diwas Lamsal and Vayalet Stefanova and Benjamin Filtjens},
journal= {arXiv preprint arXiv:2601.12610},
year = {2026}
}
备注
Submitted to ACM SenSys '26, 12 pages (excl. references), 9 figures