用于高分辨率图像识别的迭代块选择
计算机视觉与模式识别
2023-03-08 v2 机器学习
图像与视频处理
摘要
高分辨率图像在自动驾驶、计算机辅助诊断等多种应用中十分普遍。然而，在此类图像上训练神经网络在计算上具有挑战性，即便在现代 GPU 上也容易引发显存溢出错误。我们提出一种简单方法——迭代块选择（IPS），它将显存占用与输入尺寸解耦，从而能够在严苛硬件约束下处理任意大的图像。IPS 通过仅选择最显著的块来实现这一点，随后这些块被聚合为用于图像识别的全局表示。对于块选择与聚合，我们引入了基于交叉注意力的 transformer，其与多示例学习有密切联系。我们的方法展现出强劲性能，并在不同领域、训练机制与图像尺寸下具有广泛适用性，同时仅占用极少的加速器显存。例如，我们能够在仅 5 GB GPU 显存、批大小为 16 的条件下，对由多达 25 万块（>16 gigapixels）组成的全切片图像微调我们的模型。
引用
@article{arxiv.2210.13007,
title = {Iterative Patch Selection for High-Resolution Image Recognition},
author = {Benjamin Bergner and Christoph Lippert and Aravindh Mahendran},
journal= {arXiv preprint arXiv:2210.13007},
year = {2023}
}
备注
Published as a conference paper at ICLR 2023