基于智能手表多模态感知的自然场景社交互动检测：SocialPulse 系统设计
人机交互
2026-05-22 v2
摘要
社交互动是幸福感的基本要素，但如何在日常环境中使用可穿戴设备自动检测仍是未开发充分的领域。大多数现有系统在受控环境中评估，主要关注面对面互动，或依赖限制性假设（如要求在固定时间窗口内存在多个发言者），限制了其在真实世界中的适用性。我们提出了一个基于手表的互动检测系统，旨在捕获自然场景下的多样化互动。其核心组件是训练于公开数据集上的前景语音检测器。该检测器在超过 10 万 条标记的前景语音和背景声实例上实现了 85.51% 的平衡准确率，显著优于先前工作的 5.11%。我们在真实世界部署（N=38）中进行了评估，总智能手表佩戴时间超过 900 小时。系统检测到 1,691 处互动，其中 77.28% 经受访者自我报告确认，互动时长从不到一分钟到超过一小时不等。在正确检测的互动中，81.45% 为面对面，15.7% 为虚拟，1.85% 为混合形式。我们进一步开发了一个 15 秒窗口级仅基于音频的模型，实现更快的互动预测，平衡准确率达 90.39%，灵敏度达 91.01%，基于 33,698 条标记窗口。这些结果表明了在真实世界中实现互动感知的可行性，为响应用户动态社交环境的自适应、情境感知系统铺平了道路。
引用
@article{arxiv.2602.22085,
title = {SocialPulse: On-Device Detection of Social Interactions in Naturalistic Settings Using Smartwatch Multimodal Sensing},
author = {Md Sabbir Ahmed and Kaitlyn Dorothy Petz and Noah French and Tanvi Lakhtakia and Aayushi Sangani and Mark Rucker and Xinyu Chen and Bethany A. Teachman and Laura E. Barnes},
journal= {arXiv preprint arXiv:2602.22085},
year = {2026}
}