CMIS-Net：用于后向共鸣确认的级联多尺度个体标准化网络
计算机视觉与模式识别
2025-10-22 v1
摘要
后向共鸣是指听者的微妙反应，如点头、微笑或简短的口头暗示如“是的”或“嗯”，这些信号在对话中传递理解与同意，为听者提供反馈，提高交互的流畅性，在构建具有人类水平响应能力的 AI 系统中发挥着关键作用。然而，后向共鸣行为的表达常常受个体差异的显著影响，涉及多个尺度：从即时动态如反应强度（帧级）到时序模式如频率与节奏偏好（序列级）。这构成了当今情感识别方法尚未完全解决的复杂图案识别问题。尤其是，现有的个体化情感识别方法往往仅在单一尺度上工作，忽视了多尺度行为线索的互补性。为此，我们提出一种新型级联多尺度个体标准化网络（CMIS-Net），通过从观察表达中移除个体特定的中性基线来提取个体标准化后的后向共鸣特征。该网络在帧级与序列级同时工作，这种标准化使模型能够关注每个人基线上的相对变化，而非绝对表达值。此外，我们引入了一个隐式数据增强模块，以解决训练数据分布偏差的问题，提高模型的泛化能力。全面的实验与可视化结果表明，CMIS-Net 有效处理了个体差异与数据不平衡问题，在后向共鸣确认检测中实现了最好的性能。
引用
@article{arxiv.2510.17855,
title = {CMIS-Net: A Cascaded Multi-Scale Individual Standardization Network for Backchannel Agreement Estimation},
author = {Yuxuan Huang and Kangzhong Wang and Eugene Yujun Fu and Grace Ngai and Peter H. F. Ng},
journal= {arXiv preprint arXiv:2510.17855},
year = {2025}
}