Ego4D Looking At Me 挑战的 PCIE_LAM 解决方案
计算机视觉与模式识别
2024-06-19 v1
摘要
本报告介绍我们团队 'PCIE_LAM' 解决方案用于 CVPR2024 的 Ego4D Looking At Me 挑战。该挑战的主要目标是基于场景中人物的面部局部分辨视频，准确判断该人物是否正望向摄像者。我们的解决方案，InternLSTM，由 InternVL 图像编码器和双向长短期记忆网络 (Bi-LSTM) 组成。InternVL 提取空间特征，而 Bi-LSTM 提取时间特征。然而，该任务极具挑战性，由于人物与摄像机之间的距离以及摄像机运动，导致面部图像出现显著模糊。为应对任务的复杂性，我们实现了 Gaze Smoothing 滤波器，以消除输出中的噪声或尖峰。我们的方案以 0.81 mAP 和 0.93 的准确率在望向我挑战中获得第一名。代码已公开于 https://github.com/KanokphanL/Ego4D_LAM_InternLSTM。
引用
@article{arxiv.2406.12211,
title = {PCIE_LAM Solution for Ego4D Looking At Me Challenge},
author = {Kanokphan Lertniphonphan and Jun Xie and Yaqing Meng and Shijing Wang and Feng Chen and Zhepeng Wang},
journal= {arXiv preprint arXiv:2406.12211},
year = {2024}
}