无关像素无处不在:发现并排除它们以实现更高效的计算机视觉
计算机视觉与模式识别
2022-07-25 v1
摘要
计算机视觉通常使用卷积神经网络(CNNs)完成。CNNs 计算密集,难以部署在移动和物联网(IoT)设备等功耗受限系统上。CNNs 计算密集是因为其在输入图像的所有像素上无差别地计算大量特征。我们观察到,给定计算机视觉任务,图像中常包含与该任务无关的像素。例如,若任务是寻找汽车,天空中的像素就没什么用。因此,我们提出修改 CNN 使其仅对相关像素运算以节省计算与能耗。我们提出一种方法研究三个流行的计算机视觉数据集,发现 48% 的像素无关。我们还提出聚焦卷积(focused convolution)来修改 CNN 的卷积层以拒绝被标记为无关的像素。在嵌入式设备上,我们观察到精度无损失,而推理延迟、能耗和乘加计数均降低约 45%。
引用
@article{arxiv.2207.10741,
title = {Irrelevant Pixels are Everywhere: Find and Exclude Them for More Efficient Computer Vision},
author = {Caleb Tung and Abhinav Goel and Xiao Hu and Nicholas Eliopoulos and Emmanuel Amobi and George K. Thiruvathukal and Vipin Chaudhary and Yung-Hsiang Lu},
journal= {arXiv preprint arXiv:2207.10741},
year = {2022}
}