面向动态算法与编译器协设计的端到端数据过拟合超分辨率
计算机视觉与模式识别
2024-07-15 v2 人工智能
机器学习
摘要
深度神经网络（DNN）在计算机视觉应用中经常被采用。当前视频分发系统的新兴趋势是利用DNN的过拟合特性执行视频分辨率提升。通过将视频分割为块并对每个块应用超分辨率（SR）模型，这种SR模型与视频块的组合方案能够替代传统视频传输，以提升视频质量和传输效率。然而，这需要大量模型和块才能保证高性能，导致用户端模型切换和内存占用开销巨大。为解决此问题，我们提出一种Dynamic Deep neural network辅助的内容感知数据处理管道（Dy-DCA），以减少模型数量至一个，从而在提升性能的同时节省计算资源。此外，为在用户端实现实际加速，我们设计了一种框架，用于优化Dy-DCA中的动态特征（如动态形状、大小和控制流），以实现一系列编译优化，包括融合代码生成、静态执行计划等。通过运用此类技术，我们的方法在离线移动电话上实现了更好的PSNR和实时性能（33 FPS）。在编译优化的帮助下，我们实现了1.7倍的加速，同时将内存消耗降低最高可达1.61倍。代码可在https://github.com/coulsonlee/Dy-DCA-ECCV2024获取。
引用
@article{arxiv.2407.02813,
title = {Data Overfitting for On-Device Super-Resolution with Dynamic Algorithm and Compiler Co-Design},
author = {Gen Li and Zhihao Shu and Jie Ji and Minghai Qin and Fatemeh Afghah and Wei Niu and Xiaolong Ma},
journal= {arXiv preprint arXiv:2407.02813},
year = {2024}
}
备注
ECCV2024