4D 足部：利用注意力增强的动态同步图卷积 LSTM 网络配准行走足部形状
图像与视频处理
2023-07-25 v1
摘要
动态可形变人体部位的 4D 扫描有助于研究者更好地理解时空特征。然而，基于多台异步相机重建 4D 扫描面临两个主要挑战：1）就动态特征识别而言，在各相机时间戳上寻找每台相机所捕获不同帧间的动态对应；2）就多视图融合而言，由不同相机在异步时间戳捕获的组合点云重建 3D 形状。本文引入一个通用框架，能够：1）利用非刚性迭代最近最远点算法查找并对齐每台相机所捕获 3D 扫描中的动态特征；2）通过一种新颖的基于 ADGC-LSTM 的网络同步异步相机捕获的扫描，该网络能将不同相机捕获的 3D 扫描对齐到特定相机的时间线；3）在每个时间戳将高质量模板配准到同步扫描，利用非刚性配准方法形成高质量 3D 网格模型。借助新开发的 4D 足部扫描仪，我们验证了该框架并创建了首个开放获取数据集，即 4D feet。其包含 58 名参与者（共 116 只脚，含 5147 个 3D 帧）左右脚的 4D 形状（15 fps），覆盖步态周期的重要阶段。结果证明了所提框架的有效性，尤其是在利用所提 ADGC-LSTM 网络同步异步 4D 扫描方面。
引用
@article{arxiv.2307.12377,
title = {4D Feet: Registering Walking Foot Shapes Using Attention Enhanced Dynamic-Synchronized Graph Convolutional LSTM Network},
author = {Farzam Tajdari and Toon Huysmans and Xinhe Yao and Jun Xu and Yu Song},
journal= {arXiv preprint arXiv:2307.12377},
year = {2023}
}