现如今，深度学习已经成为超分辨率领域的主流方法。
2014 年，研究人员首次将深度学习应用于图像超分辨率重建领域，提出了 SRCNN (Super-Resolution Convolutional Neural Network) 网络模型。自此，超分辨率重建领域掀起了深度学习的浪潮。
SRCNN 网络结构
SRCNN 作为最早将深度学习方法应用于图像超分辨率的模型，仅仅使用了 3 个卷积层，便取得了远超传统方法的 PSNR 值。
具体而言，输入低分辨率图像，用双三次插值法 (Bicubic interpolation) 将图像放大至目标尺寸，然后用 3 层卷积神经网络拟合低分辨率图像跟高分辨率图像之间的非线性映射，最后输出重建后的高分辨率图像。
*PSNR 值：峰值信噪比，该数值越大，输出的 HR 图像质量越好。
SRCNN 凭借其简单、高效的优势，成为了图像超分辨率领域的重要里程碑。自此之后，从早期基于卷积神经网络 (CNN) 的超分辨率技术，到近期的基于生成对抗网络的技术，基于深度学习的超分辨率技术得到了快速发展。
深度学习+超分辨率：从公共安防到数字娱乐的多元应用
需求推动技术发展，技术迭代助力应用落地。现如今，超分辨率技术在公共安防、医学诊断、卫星遥感和娱乐媒体等领域都得到了广泛的应用。
* 公共安防领域
公共监控录像受天气和距离等因素影响，画面常模糊且分辨率低。应用超分辨率技术可以帮助警察提取清晰的人脸、车牌号等关键信息，有助于案件侦破。
研究人员利用 ESRGAN 和 BSRGAN 网络，针对不同环境下的人像和自然景物进行了分析，探索了超分辨率技术在公安和法庭中的应用可行性。
首先，研究人员对 ESRGAN 和 BSRGAN 模型进行复现、训练和测试，得到最佳模型参数。然后，使用训练好的模型对采集的人像、自然景物等低质量图像进行超分辨率重建，得到 ESRGAN 和 BSRGAN 的重建结果。
人像低质量图像重建比对
研究人员将 ESRGAN 和 BSRGAN 的重建图像与原始图像进行对比。结果表明，在正面、具有倾斜角度和复杂场景中重建后的人像在视觉质量和保真度上都有很大提升。
自然场景低质量图像重建对比
在自然场景的对比中，BSRGAN 重建效果要优于 ESRGAN，能够有效去掉原始低质量图像未知的复杂噪声，可以生成清晰的边缘和精细的细节。
* 医学诊断领域
由于成像设备限制和复杂的临床环境，医学领域所获取的影像常常存在分辨率不足的问题，这直接影响了医生对疾病的准确诊断与治疗决策。
改进 SRGAN 的结构
研究人员以针对自然图像超分辨率重建的生成对抗网络 (SRGAN) 作为基本方法，通过减少 2 个输入通道、删除 1 个残差块对该网络的结构进行更改，改进网络损失函数，新增模糊处理数据集，重建出放大 4 倍的边缘清晰、没有伪影的医学超声图像。
Case1 重建结果感兴趣区域比较
Case2 重建结果感兴趣区域比较
研究人员将改进的 SRGAN 与其他 3 种算法进行比较。结果表明，改进 SRGAN 的重建结果整体平滑，纹理边缘更清晰。
* 卫星遥感领域
近年来，遥感卫星图像在环境监测、资源勘探、灾害警报和军事等领域得到了广泛应用。然而，大气变化、传输噪声、运动模糊和欠采样光学传感器等因素严重制约了遥感卫星图像的清晰度。超分辨率技术通过处理和提升低分辨率图像，可以提高卫星遥感数据的质量和可用性。
基于局部群目标辅助的遥感图像超分辨率重建算法流程
研究人员将遥感图像局部聚集群目标区域的细节特征信息，引入到完整遥感图像的采样重建中，通过多层级的神经网络提取不同尺度的图像特征，并通过残差学习的方式将这些特征进行融合并重建。该方法可以借助局部图像的像素信息，显著提高全局遥感图像的细节效果，优化集群目标区域的分辨能力。
与基线方法的可视化对比
研究展示的对比图显示，该方法在可视化效果上显著优于其他现有方法，适用于城市和野外场景，表现出较好的效果。
* 数字娱乐领域
动漫由多张静止的画面连接而成，其静止图片分辨率将会影响最终动漫的清晰度。然而，现有的手绘或数字绘制无法保证初稿的高分辨率，这对于用户的视觉体验相当不友好。通过应用超分辨率技术，将这些低分辨率的画面转换成更高分辨率画面，能够呈现出更多的细节和纹理，可以使动漫作品的图像更加生动和逼真。
B 站就曾推出了一个名为 Real-CUGAN (Real Cascaded-U-Net-style Generative Adversarial Networks) 的动漫画质修复模型。
首先，研究人员利用该模型对动漫帧进行切块处理，使用图像质量打分模型对候选块进行打分过滤，最终得到一个百万级的高质量动漫图像块训练集。
然后，通过多阶段降质算法，将高清图像块降采样得到低质图像，让模型学习、优化从低质图像到高质图像的重建过程。训练完成后，模型即可对真实的二次元低质图像进行高清化处理。
不同算法对比图如下：
参考资料
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
创业/副业必备：
本站已持续更新1W+创业副业顶尖课程，涵盖多个领域。
点击查看详情
评论(0)