暑校


FPN(特征金字塔)

<h1>为什么要提出FPN</h1> <p>多数的目标检测算法仅仅根据最终的特征图输出做预测:</p> <ul> <li>低层的特征图特征语义信息比较少但目标位置准确;</li> <li>高层的特征图特征语义信息丰富但目标位置粗略。</li> </ul> <p>所以一些目标检测算法对小目标的识别比较困难!</p> <h1>FPN是什么</h1> <p>特征图金字塔网络FPN(Feature Pyramid Networks)是2017年提出的一种网络,<strong>它主要解决的是物体检测中的多尺度问题,在基本不增加原有模型计算量的情况下,通过简单的网络连接改变,大幅度提升了小物体的检测性能</strong>。 FPN做法很简单,<strong><em>把低分辨率、高语义信息的高层特征和高分辨率、低语义信息的低层特征进行自上而下的侧边连接</em></strong>,使得所有尺度下的特征都有丰富的语义信息。网络大致结构如下: <img src="https://www.showdoc.com.cn/server/api/attachment/visitFile?sign=840d499203a0d7d5e3fae81e1355a6f8&amp;amp;file=file.jpg" alt="" /> (1)自底向上-图像金字塔 自底向上的过程就是神经网络普通的前向传播过程。在前向过程中,feature map的大小在经过某些层后会改变,而在经过其他一些层(比如1x1的卷积)的时候不会改变。在论文中作者将不改变feature map大小的层归为一个stage,因此每次抽取的特征都是每个stage的最后一个层输出,这样就能构成特征金字塔。 (2)自顶向下-特征金字塔 把高层特征图进行上采样(比如最近邻上采样),然后把该特征横向连接(lateral connections )至前一层特征,因此高层特征得到加强。 上采样几乎都是采用内插值方法,即在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素,从而扩大原图像的大小。通过对特征图进行上采样,<strong>使得上采样后的特征图具有和下一层的特征图相同的大小</strong>,这样做主要是为了利用底层的位置细节信息。 (3)横向连接 横向连接:前一层的特征图经过 1×1的卷积核卷积,目的为改变通道数,因为要和后一层上采样的特征图通道数相同。 连接方式:像素间的加法。 重复迭代该过程,直至生成最精细的特征图。得到精细的特征图之后,用 3×3的卷积核再去卷积已经融合的特征图,目的是消除上采样的混叠效应,以生成最后需要的特征图。 混叠效应:在统计、信号处理和相关领域中,混叠是指取样信号被还原成连续信号时产生<strong>彼此交叠而失真</strong>的现象。当混叠发生时,原始信号无法从取样信号还原。而混叠可能发生在时域上,称做时间混叠,或是发生在频域上,被称作空间混叠。在视觉影像的模拟数字转换或音乐信号领域,混叠都是相当重要的议题。因为在做模拟-数字转换时若取样频率选取不当将造成高频信号和低频信号混叠在一起,因此无法完美地重建出原始的信号。为了避免此情形发生,取样前必须先做滤波的操作。所以论文中使用一个 3×3 的卷积核来卷积特征图来产生最后的参考特征图。</p>

页面列表

ITEM_HTML