深度学习基础：压缩视频增强调研 _深度学习

目录
一、从一个比赛说起
二、以前的视频增强的方法（2020年之前）
三、 IPB帧
四、单帧视频增强
1.DSCNN网络
2.QECNN网络
3.DCAD网络
4.存在问题
多帧视频增强
1.MFQE1.0
2.STDF网络
3.MFQE2.0
4.存在问题
五、现在的压缩视频增强方法（2021年）
1.LDV数据集
2. AI & FDU Team
3. NTU-SLab Team
4.Team
5. Ivp- Team
一、从一个比赛说起
NTIRE 2021 视频质量增强竞赛（ onofVideo）由瑞士苏黎世联邦理工学院（ETH ）博士研究生 Ren Yang（本人）及导师 Dr. Radu主办，为 NTIRE （CVPR 2021）的竞赛之一。这次比赛为CVPR贡献了很多优秀的论文，认真分析总结这次比赛优秀的视频增强网络是特别有必要的。
NTIRE 2021压缩视频质量增强挑战:赛有几个比赛的赛道，关于增强压缩视频的NTIRE 2021挑战赛的目标是：
（一）提高视频质量增强的技术水平；
（二）比较不同的解决办法；
（三）推广新提议的LDV数据集；以及
（四）研究更具挑战性的视频压缩设置上的质量增强。
该比赛是整个2021年的相关挑战之一：非均匀去雾、使用双像素的散焦去模糊、深度引导图像重新照明、图像去模糊、多模态鸟瞰图像分类、学习超分辨率空间、压缩视频的质量增强（本报告）、视频超分辨率、感知图像质量评估、突发超分辨率。和高动态范围成像。
二、以前的视频增强的方法（2020年之前）
随着高质量，高分辨率视频的需求增加，为了在有限的带宽上传输更多数量的高分辨率视频，必须采用视频压缩来降低比特率。压缩视频不可避免的会带来伪影，并可能导致视频质量的退化，这是视频增强的必要性。在过去的几年,已经有大量的工作在这个方向,其中单帧质量增强方法是最先提出的,后来又有人提出多帧质量增强。此外，有的网络专注于提高压缩视频的感知质量，有网络专注于提高峰值信噪比(Peak -to-Noise Ratio, PSNR)的性能，以实现对未压缩视频的更高保真度。这些工作表明了这一研究领域的广阔前景。
三、 IPB帧
视频压缩中，每帧都代表着一幅静止的图像。而在进行实际压缩时，会采取各种算法以减少数据的容量，其中IPB帧就是最常见的一种。
I帧：帧内编码帧（intra ）,I帧通常是每个GOP（MPEG所使用的一种视频压缩技术）的第一帧，经过适度地压缩，作为随机访问的参考点可以当成静态图像。I帧可以看做一个图像经过压缩后觉得产物，I帧压缩可以得6：1的压缩比而不会产生任何可觉察的模糊现象。I帧压缩可去掉视频的空间冗余信息，下面即将介绍P帧和B帧是为了去掉时间冗余信息。
P帧：前向预测编码在帧(-frame),通过将图像序列中前面已编码帧的时间冗余信息去充分去除压缩传输数据量的编码图像，也成为预测帧。
B帧：双向预测内插编码帧（bi-tedframe）,既考虑源图像序列前面的已编码帧，又估计源图像序列后面的已编码帧之间的时间冗余信息，来压缩传输数据量的编码图像，也成为双向预测帧。
基于上面的定义，我们可以从解码的角度来理解IBP帧。
I帧自身可以通过视频解压算法解压成一行单独的完善的完整视频画面，所以I帧去掉视频帧在空间维度上的冗余信息。
P帧需要参考其前面一个I帧或者P帧来解码成一张完整的视频画面。
【深度学习基础：压缩视频增强调研】B帧则需要参考前一个I帧或者P帧及其后面一个P帧来生成后面一张完整的视频画面，所以P帧与B帧去掉是视频在时间维度上的冗余信息。