残差密集网络:利用所有分层特征的图像超分辨率网络

图像超分辨率在安防等很多领域有这广泛的应用，而美国东北大学最近提出了一种残差密集网络来从原图生成高分辨率图像。该网络结合残差网络与密集连接网络的特性充分利用原始 LR 图像的所有分层特征，因而能重构出高质量的图像。

单幅图像超分辨率（SISR）旨在于低分辨率（LR）测量的基础上生成视觉良好的高分辨率（HR）图像。SISR 用于各种计算机视觉任务，如安全和监视成像 [38]、医学成像 [22] 和图像生成 [9]。图像超分辨率是一个不适定（ill-posed）逆过程，因为对于任何 LR 输入都存在多种解决方案。为了解决这个逆问题，研究者们已经提出了大量的图像 SR 算法，包括基于插值、基于重建和基于学习的方法 [27, 28, 19, 2, 20, 8, 10, 30]。

图 1. 之前的网络结构（a，b）和我们残差密集块（residual dense block）（c）的比较。其中（a）为 MDSR 中的残差块（residual block）[16]，（b）为 SRDenseNet 中的密集块（dense block）[30]，（c）为我们的残差密集块。

其中，Dong 等人 [2] 首先将一个三层卷积神经网络（CNN）引入到图像 SR 中，与传统方法相比，此方法有了明显的改进。Kim 等人通过使用梯度截断（gradient clipping）、跳过连接（skip connection）或递归监督（recursive-supervision）来降低训练深度网络的难度。通过使用有效的构建模块，图像 SR 的网络变得更深，性能变得更好。Lim 等人使用残差块（图 1（a））构建了一个非常大的有残差缩放（residual scaling）[23] 的网络 EDSR [16] 和一个非常深的网络 MDSR [16]。Tai 等人提出通过记忆块构建 MemNet [25]。随着网络变深，每个卷积层中的特征将具有不同层级的感受野。然而，这些方法忽略了充分利用每个卷积层的信息。尽管提出的记忆块中的门控单元是控制短期记忆 [25] 的，但局部卷积层不能直接访问后续层，所以很难说记忆块充分利用了其内部所有层的信息。

此外，图像中的物体具有不同的大小、视角和高宽比。一个非常深的网络的分层特征将为重构提供更多的线索。然而大多基于深度学习（DL）的方法（如 VDSR [10]、LapSRN [13] 和 EDSR [16]）在重构时忽略了使用分层特征。尽管记忆块 [25] 也使用之前记忆块的信息，但没有从原始 LR 图像是提取多级特征。MemNet 将原始 LR 图像内插至所需大小形成输入。这个预处理的步骤不仅使计算的复杂度平方地增加，而且也丢失了原始 LR 图像的一些细节。Tong 等人为较低增长率（如 16）的图像 SR 引入了密集块（图 1（b））。根据我们的实验（见第 5.2 节），更高的增长率可以进一步提高网络的性能。而在图 1（b）中，很难用密集块来训练更大的网络。

为了解决这些缺点，我们提出了残差密集网络（RDN）（图 2），通过残差密集块（RDB）（图 1（c））来充分利用原始 LR 图像的所有分层特征。对于一个很深的网络来说，直接提取 LR 空间中的每个卷积层的输出很难，可以说是不切实际的。我们使残差密集块（RDB）作为 RDN 的构建模块。RDB 包含密集连通层和带有局部残差学习（LRL）的局部特征融合（LFF）。我们的残差密集块还支持 RDB 间的连续记忆。一个 RDB 的输出可以直接访问下一个 RDB 各层，从而使状态连续传递。RDB 每个卷积层都可以访问所有的后续层，传递需要保留的信息 [7]。将前面的 RDB 与当前 RDB 的所有前面层的状态连接，LFF 通过自适应地保存信息来提取局部密集特征。此外，LFF 通过稳定更大网络的训练来实现极高的增长率。在提取多层局部密集特征后，我们进一步进行全局特征融合（GFF）以全局方式自适应地保留分层特征。如图 2 和图 3 所示，每层都可以直接访问原始的 LR 输入，从而产生隐式的深层监督 [15]。

总得来说，这项工作的主要贡献有三个：

• 我们提出了一个统一的框架，它通过不同的退化模型（degradation models）使用残差密集网络生成高质量的超分辨率图像，网络充分利用原始低分辨率图像的所有分层特征。

• 我们提出了残差密集块（RDB），它不仅可以通过连续记忆（CM）机制从前一个 RDB 读取状态，还可以通过局部密集连接充分利用其中的所有层。然后通过局部特征融合（LFF）自适应地保留累积的特征。

• 我们提出了全局特征融合以自适应地融合 LR 空间中所有 RDB 的分层特征。利用全局残差学习，我们将浅层特征和深层特征结合在一起，从原始 LR 图像中得到全局密集特征。

图 2. 我们提出的残差密集网络（RDN）的结构。

网络架构

如图 2 所示，我们的 RDN 主要包含四部分：浅层特征提取网络（SFENet）、残差密集块（RDBs）、密集特征融合（DFF）以及上采样网络（UPNet）。我们将 ILR 和 ISR 表示为 RDN 的输入和输出，具体来说，我们使用两个 Conv 层来提取浅层特征。

图 3. 残差密集块（RDB）架构。

表 3. BD 和 DN 退化模型的基准结果。

图 7. 使用缩放因子×3 的 BD 退化模型的可视化结果。SR 结果分别是由 Urban100 的图像得到的「img 096」和由 Urban100 得到的「img 099」。

图 8. 使用缩放因子×3 的 DN 退化模型的可视化结果。SR 结果分别是由 B100 的图像得到的「302008」和 Manga109 得到的「LancelotFullThrottle」。

图 9. 缩放因子×4 的实际图像视觉效果。两行分别为图像「chip」和「hatc」的 SR 结果。

论文：Residual Dense Network for Image Super-Resolution

论文链接：https://arxiv.org/abs/1802.08797

一个非常深的卷积神经网络（CNN）最近在图像超分辨率（SR）方面取得了巨大的成功，并提供了分层特征。然而，大多数基于 SR 模型的深层 CNN 并没有充分利用原始低分辨率（LR）图像的分层特征，从而其性能较低。本文中，我们得出了一种新的残差密集网络（RDN）来解决图像超分辨率问题。我们充分利用所有卷积层的分层特征。具体来说，我们提出了残差密集块（RDB），通过密集卷积层来提取充分的局部特征。RDB 还允许将前一个 RDB 的状态直接连接至当前 RDB 的所有层，从而形成连续记忆（CM）机制。然后使用 RDB 中的局部特征融合来自适应地学习来自先前和当前局部特征的更有效特征，并稳定更大网络的训练。在完全获得密集的局部特征后，我们使用全局特征融合整体地联合和自适应地学习全局分层特征。在不同退化模型的基准数据上的大量实验表明，我们的 RDN 相对最先进的方法取得了良好的性能。