NAC-TCN：基于因果膨胀邻域注意力的时间卷积网络用于情感理解
计算机视觉与模式识别
2024-01-09 v2
摘要
在视频情感识别任务中，一项关键改进是关注随时间变化的情感而非单帧图像。已有多种架构致力于解决此任务，如 GRU、LSTM、Self-Attention、Transformer 和时间卷积网络。然而，这些方法存在内存使用量高、运算量大或梯度表现差的问题。我们提出了一种名为带卷积的邻域注意力 TCN（NAC-TCN）的方法，它融合了注意力机制和时间卷积网络的优势，同时确保理解因果关系，从而降低了计算和内存开销。我们通过引入膨胀邻域注意力的因果版本并将其与卷积相结合来实现这一点。我们的模型在标准情感识别数据集上，以更少的参数量实现了与 TCN、TCAN、LSTM 和 GRU 相当、更优或 SOTA 的性能。我们在线发布了代码，以便于复现并用于其他项目。
引用
@article{arxiv.2312.07507,
title = {NAC-TCN: Temporal Convolutional Networks with Causal Dilated Neighborhood Attention for Emotion Understanding},
author = {Alexander Mehta and William Yang},
journal= {arXiv preprint arXiv:2312.07507},
year = {2024}
}
备注
8 pages, presented at ICVIP 2023