《A High( 四 ) _智能手机

4.2.强度比对
尽管有控制的成像环境，但由于潜在的硬件不精确，仍然需要考虑场景照明和相机曝光时间的轻微变化。为了解决这个问题，我们首先估计序列中所有图像的平均强度，其中μi是图像i的平均强度。然后，计算所有μi分布的平均μa和标准差σa，并将n(μa，σa)的99.9%置信区间外的所有图像作为离群值，并将它们从序列中删除。最后，我们重新计算μa，并执行强度对齐，移动所有图像具有相同的平均强度：
我们在整个数据集中发现的离群点图像总数只有231幅图像。这些图像通常被明显的亮度变化破坏。
4.3.密集的局部空间排列
在用智能手机捕获图像序列时，我们观察到图像内容在图像序列上有明显的变化。为了进一步研究这个问题，我们将智能手机放置在振动控制的光学工作台上（排除环境振动），并用固定的基准成像平面场景，如图5a所示。我们在500幅图像的序列上跟踪了这些基准，以揭示一种空间变化的模式，它看起来像透镜同轴移位和径向失真的组合，如图5b所示的和图5c的谷歌像素。通过类似的实验，我们发现DSLR相机不会产生这样的失真或位移。
图5：(A)静态平面图的一部分，在无振动光学表上成像基准。在500幅图像序列中，观察到和测量到的像素漂移在第一和最后（500）图像之间的颤动图显示为(B)和(C)像素。通过全局2d平移替换我们的局部对准技术，以在合成(B)的局部像素漂移后对齐图像序列的效果。我们在从摄像机设备估计的NLF的β1参数范围内合成信号相关噪声后，应用了这两种技术。
在进一步的调查中，我们发现这是由于光学图像稳定(OIS)无法禁用，无论是通过API调用，还是因为它是底层摄像机硬件的一部分。因此，在估计地面真实图像之前，我们必须对所有图像进行局部密集对齐。为此，我们采用了以下方法对噪声图像进行鲁棒局部对齐（我们对序列中的每个图像重复这个过程）：
1.选择一个图像xref作为序列中所有其他图像对齐的参考。
2.将每幅图像划分为512×512像素的重叠块。我们选择足够大的补丁来解释图像中较高的噪声水平；补丁越大，我们对局部翻译向量的估计就越准确。我们将这些补丁的中心表示为我们用于下一个注册步骤的目标地标。
3.使用一种精确的基于傅里叶变换的方法[17]来估计每个图像xi中每个补丁相对于参考图像xref对应的补丁的局部翻译向量。这样，我们就可以获得每个图像的源标记。
4.具有从每个图像xi中的源标记到参考图像xref中的目标地标的相应的局部平移向量，我们基于任意地标对应集[3]应用2d薄板样条图像翘曲将每幅图像对齐到参考图像。我们发现我们采用的技术比将失调问题作为一个全局2d翻译更准确。
图5d显示了用全局2d翻译代替我们的局部对齐技术的效果。我们将这两种技术应用于合成图像序列，包括合成的局部像素位移和信号相关噪声。合成的局部像素移与从真实图像中测量的移位相同(图5b和5c) 。合成的噪声是基于摄像机设备估计的NLF参数（β1和β2），并使用提取。我们的局部对齐技术在一系列真实的噪声水平上始终产生较高的psnr值，而不是2d全局对齐。
在我们的地面真相估计管道中，我们将所有图像以一个序列扭曲到一个参考图像，我们希望对地面真相进行估计。为了估计序列中另一幅图像的地面真相，我们以该图像为参考，重新应用对齐过程。这样，我们对数据集中的每个图像都有不同的地面真相。
4.4.稳健平均图像估计
一旦图像对齐，下一步是估计平均图像。直接均值将被偏置，因为裁剪效应的不足照明或过度曝光像素[13] 。为了解决这一问题，我们提出了一种鲁棒的技术来解释这种裁剪效果。考虑整个n个图像序列中j位置像素的所有观测，表示为