深度学习基础：压缩视频增强调研( 二 ) _深度学习

四、单帧视频增强 1.DSCNN网络
Ren Yang, Mai Xu, and Zulin Wang. -side HEVCwith.Inof the IEEEand Expo (ICME), pages 817–822. IEEE,2017. 1, 2
DSCNN网络是在ARCNN网络的基础上提出的，经典的ARCNN网络有四层网络结构：提取特征、去噪、非线性映射（1x1的卷积，类似于全连接层）、重构。DSCNN中设计了一个具有两个子网络的可伸缩结构，这样，解码后的HEVC视频的质量增强可以根据不同的计算资源进行调整。DS-CNN包括DS-CNN-I和DS-CNN-B两个子网络，分别用于增强I帧和B/P帧的质量。实验结果表明了DS-CNN方法在提高HEVC的I /P帧和B/P帧质量方面的有效性。（I帧保留了最全的信息，I帧可以指导B/P帧的增强）。
2.QECNN网络
Ren Yang, Mai Xu, Tie Liu, Zulin Wang, andGuan.for HEVC.onandfor Video ,2018. 1
我们可以看见，上面两个网络是同一个团队的，大同小异，QECNN也是在ARCNN网络上做出的改进，QE-CNN方法学习了QE-CNN-I和QE-CNN-P模型，分别降低了HEVC I和P/B帧的失真。该方法不同于现有的基于cnn的质量增强方法（以前只增强I帧，没有增强预测帧B/P帧），后者仅处理编码内失真，因此不适用于P/B帧。该方法能够有效提高HEVC视频的I帧和P/B帧的质量。唯一与DSCNN很大不同的是，为了将QE-CNN方法应用于时间约束的场景，该团队进一步提出了一种时间约束的质量增强优化(TQEO)方案。TQEO方案控制了QE-CNN的计算时间以满足一个目标，同时最大限度地提高了质量。实验结果表明，在不同的时间约束条件下，从时间控制精度和质量提高两个方面验证了TQEO方案的有效性。
3.DCAD网络
Wang,Chen, andChao.deep -basedoffrom the -end for HEVC. Inof the Data(DCC), pages 410–419.IEEE, 2017. 1, 2
DCAD是一种全端到端前馈网络，他同样是基于ARCNN网络改进得到，运行速度比基于压缩感知的方法快得多，编码效率也更高。对于一些后续计算机视觉任务的需求，DCAD还可以作为一个扩展选项来生成更高质量的输入视频。实验结果表明，该方法不仅可以提高I帧的编码效率，而且可以提高B帧和P帧的编码效率。
4.存在问题
单帧视频增强的网络相对简单，训练较快，但是预测效果较差，不能充分利用视频帧与帧之间的时序信息。现在主流的网络都是多帧视频增强。
多帧视频增强 1.MFQE1.0
在谈到多帧视频增强前，我们先来看一下，一个视频帧序列的PSNR 。
视频帧PSNR变化
通过上图，我们可以看见，一个视频帧序列的PSNR有一定的周期性变化，有的帧的PSNR高，有的又特别低，我们把高PSNR的帧称为高质量帧（PQF），低PSNR的帧称为低质量帧（非PQF）。MFQE网络的核心思想就是：通过两个PQF来增强一个非PQF帧。
那么，如何检测一个帧序列的PQF？端口向量机(SVM)作为一种检测PQF的无参考方法。然后，提出了一种新型的多帧CNN (MF-CNN)结构，该结构将当前帧和相邻的PQF作为输入。MF-CNN包括两个组成部分，即运动补偿子网(MC子网)和质量增强子网(QE子网) 。
MC子网是用来补偿当前非PQF与其相邻PQF之间的运动的。该子网采用时空结构，用于提取和合并当前非PQF和补偿PQF的特征。最后，利用相邻PQF中的高质量内容，可以提高当前非PQF的质量。
如上图所示，当前的非PQF(第96帧)和最近的PQF (第93帧和第97帧)被输入到我们MFQE方法的MF-CNN中。
因此，非PQF (第96帧)的低质量内容(篮球)可以在相同的内容上得到增强，但在相邻的PQF(第93帧和第97帧)中具有高质量。
此外，上图显示我们的MFQE方法也减轻了质量波动，因为非PQF的质量有了相当大的改善。
Ren Yang,Sun, Mai Xu andZeng, "-GatedLSTM forVideo", in IEEEonand Expo (ICME), 2019.