POTTER：用于高效人体网格恢复的分池注意力 Transformer
计算机视觉与模式识别
2023-03-24 v1 人工智能
多媒体
摘要
Transformer 架构已在单目图像人体网格恢复（HMR）上取得 SOTA 性能。然而，性能提升的代价是巨大的显存与计算开销。真实世界应用需要一种轻量且高效的模型来重建准确的人体网格。本文中，我们提出一种名为 POoling aTtention TransformER（POTTER）的纯 Transformer 架构，用于单图像 HMR 任务。观察到常规注意力模块在显存与计算上开销大，我们提出高效的分池注意力模块，在不牺牲性能的前提下显著降低显存与计算成本。此外，我们通过在 HMR 任务中集成高分辨率（HR）流来设计新的 Transformer 架构。来自 HR 流的高分辨率局部与全局特征可用于恢复更准确的人体网格。我们的 POTTER 在 Human3.6M（PA-MPJPE 指标）与 3DPW（全部三项指标）数据集上，仅以 METRO 这一 SOTA 方法 7% 的总参数量与 14% 的乘加运算量即超越之。项目主页为 https://zczcwh.github.io/potter_page。
引用
@article{arxiv.2303.13357,
title = {POTTER: Pooling Attention Transformer for Efficient Human Mesh Recovery},
author = {Ce Zheng and Xianpeng Liu and Guo-Jun Qi and Chen Chen},
journal= {arXiv preprint arXiv:2303.13357},
year = {2023}
}
备注
CVPR 2023