视频会议如何改变你的表情
计算机视觉与模式识别
2024-06-04 v1
摘要
我们在视频通话中说话时，面部表情会改变吗？给定两组不配对的人物视频，我们旨在自动发现每组视频特有的时空模式。现有方法使用判别方法并进行事后可解释性分析。这些方法不足以提供超越明显数据集偏差的见解，并且解释仅在人类本身擅长该任务时才有用。相反，我们通过生成式域翻译的视角来处理问题：我们的方法生成关于学习到的、输入依赖的时空特征以及它们在域之间变化程度的详细报告。我们证明我们的方法可以发现面对面（F2F）和视频通话（VC）之间交谈的行为差异。我们还展示了我们的方法在发现总统沟通风格差异方面的适用性。此外，我们能够以无监督方式预测视频中解耦表情的时间变化点，并提高我们模型的可解释性和有用性。最后，我们的方法是生成式的，可用于将视频通话转换为仿佛在F2F环境中录制。实验和可视化表明，我们的方法能够发现一系列行为，朝着更深入理解人类行为迈出一步。
引用
@article{arxiv.2406.00955,
title = {How Video Meetings Change Your Expression},
author = {Sumit Sarin and Utkarsh Mall and Purva Tendulkar and Carl Vondrick},
journal= {arXiv preprint arXiv:2406.00955},
year = {2024}
}
备注
Project webpage is available at: https://facet.cs.columbia.edu