利用无监督远程光电容积描记法与行为特征分析在线会议中的参与者参与度

参与度测量在医疗、教育、服务等领域均有应用。利用生理和行为特征是可行的，但由于需要接触式传感器，传统生理测量方法不切实际。我们证明了无监督远程光电容积描记法（rPPG）作为接触式传感器的替代方案，在提取心率变异性（HRV）特征方面的可行性，并将这些特征与行为特征融合，以测量在线小组会议中的参与度。首先，我们收集了一个独特的社交工作者在线互动参与度数据集，并带有细粒度的参与度标签，为虚拟会议动态提供了洞察。其次，我们定制了一个预训练的rPPG模型，以无监督方式从视频会议中重建rPPG信号，从而能够计算HRV特征。第三，我们证明了使用短观察窗口从HRV特征估计参与度的可行性，当使用2到4分钟的较长观察窗口时，性能显著提升。第四，我们评估了行为线索与生理数据融合时的有效性，这进一步提高了参与度估计性能。仅使用HRV特征时准确率达到94%，无需接触式传感器或真实信号；使用行为线索后准确率提升至96%。面部分析提供了精确的参与度测量，对未来应用有益。