RF-Next：面向卷积神经网络的高效感受野搜索
量子物理
2023-03-28 v1 新兴技术
摘要
模型的时间/空间感受野在序列/空间任务中起着重要作用。大感受野有助于长期关系，而小感受野有助于捕获局部细节。现有方法在层中用手工设计的感受野构建模型。我们能否有效搜索感受野组合以替代手工设计模式？为回答此问题，我们提出通过由全局到局部的搜索方案寻找更好的感受野组合。我们的搜索方案利用全局搜索寻找粗粒度组合，并利用局部搜索进一步获得细化的感受野组合。全局搜索发现除人工设计模式外的可能粗粒度组合。在全局搜索之上，我们提出一种期望引导的迭代局部搜索方案以有效细化组合。我们的RF-Next模型将感受野搜索插入各类模型，提升了诸多任务的性能，例如时间动作分割、目标检测、实例分割和语音合成。源代码公开于 http://mmcheng.net/rfnext。
引用
@article{arxiv.2206.06636,
title = {Provably-secure randomness generation from switching probability of magnetic tunnel junctions},
author = {Hong Jie Ng and Shuhan Yang and Zhaoyang Yao and Hyunsoo Yang and Charles C. -W. Lim},
journal= {arXiv preprint arXiv:2206.06636},
year = {2023}
}
备注
6 pages, all comments are welcome