面向快照压缩成像的协同硬件提示学习
计算机视觉与模式识别
2025-03-21 v2
摘要
快照压缩成像系统(SCI)中现有的重建模型使用单一经过良好校准的硬件实例训练，使其性能易受硬件偏移影响，且难以适应多种硬件配置。为促进跨硬件学习，先前工作试图直接收集多硬件数据并进行集中训练，但由于严重的用户数据隐私问题以及不同平台/机构间的硬件异构性，这种做法并不现实。在本研究中，我们明确考虑数据隐私与异构性，提出联邦硬件提示学习(FedHP)框架来协同优化SCI系统。与通过修正梯度来缓解客户端漂移（仅在学习流形上生效，无法解决根植于输入数据空间的异构性）不同，FedHP学习一个硬件条件化的提示器来对齐客户端间不一致的数据分布，充当不同硬件（如编码孔径）间数据不一致性的指示器。大量实验结果表明，所提出的FedHP将预训练模型协调至多种硬件配置，在具有挑战性的异构设定下以0.35dB优于主流联邦学习(FL)框架。此外，我们基于多个实际SCI系统构建了快照光谱异构数据集。数据和代码见 https://github.com/Jiamian-Wang/FedHP-Snapshot-Compressive-Imaging
引用
@article{arxiv.2306.01176,
title = {Cooperative Hardware-Prompt Learning for Snapshot Compressive Imaging},
author = {Jiamian Wang and Zongliang Wu and Yulun Zhang and Xin Yuan and Tao Lin and Zhiqiang Tao},
journal= {arXiv preprint arXiv:2306.01176},
year = {2025}
}
备注
Accepted by NeurIPS 2024