深度学习基础：压缩视频增强调研( 四 ) _深度学习

AI & FDU Team
作为初步步骤，他们首先解码比特流提取每帧的QP 。
根据QP值，他们选择前4帧和后4帧作为参考帧，因此总共9帧(包括目标帧)被输入模型。
1)将目标帧的时间戳记为t，同时选取相邻的两帧(t-1和t+1);
2)然后将之前的3个峰值质量帧(Peak, PQFs)[71]和随后的3个PQFs作为额外的参考帧。
3)如果没有更多的参考帧，并且在前一部分或后一部分中选择的参考帧数少于4个，则重复填充最后选择的参考帧，直到总共有8个参考帧。他们将9帧(8个参考帧和1个目标帧)输入到时空变形融合(STDF)模块中，以捕获时空信息。然后STDF模块的输出被发送到质量增强(QE)模块。QE模块采用了来自[17]的自适应WDSR-A-Block堆栈。
3. NTU-SLab Team
NTU-SLab Team
NTU-SLab团队针对这一挑战提出了++方法。++包含两项经过深思熟虑的修改，以改进的传播和对准设计。如上图所示，给定一个输入视频，首先利用残差块提取每帧的特征。这些特征然后在提出的二阶网格传播方案下传播，其中对齐是由提出的流动引导的可变形对齐执行。传播后，利用聚合的特征进行卷积和像素变换生成输出图像。
4.Team
Team
如上图所示，输入图像包括三帧，即当前帧加上前一帧和下一帧PQF (Peak，峰值质量帧) 。第一步包括一个共享的特征提取与剩余块堆栈，随后使用一个U-Net来联合预测三个输入的每个单独的偏移量。这样的偏移被用来隐式地对齐和融合特征。注意，这一步的监督没有任何损失。在初始特征提取和对齐后，他们使用一个具有共享权值的多头U-Net来处理每个输入特征，在编码器和解码器的每个尺度上，他们将U-Net特征与尺度相关的变形卷积融合，对U-Net的输出特征进行最后一次融合，最后对输出的融合特征进行一堆剩余块的处理，预测最终的输出。这个输出实际上是残留信息，添加到输入帧以产生增强的输出帧。
5. Ivp- Team
Ivp- Team
如上图所示，Ivp-团队提出了一种块移除网络(BRNet)来减少压缩视频中的块伪影，以提高视频质量。受EDSR和FFDNe的启发，提出的BRNet首先使用mean shift模块(mean shift)对输入帧进行归一化，然后采用可逆的下采样操作(Pixel )对帧进行处理，将压缩后的帧分割成四个下采样的子帧。然后，将子帧馈送到如图17所示的卷积网络中，其中使用了8个剩余块。最后，他们使用上采样操作(Pixel )和mean shift模块来重建增强的帧。值得注意的是，在所有提出的方法中，Ivp-的时间效率最高。它能够增强超过120帧每秒，所以它可能适用于高帧率的场景。个人认为，腾讯团队的这个模型非常有价值。