【2019CVPR学习】翻译( 四 ) _卷积

与CRF 。在语义分割任务中，CRF作为CNN输出的后处理已经成为事实上的标准。CRF的关键思想是鼓励相似点共享一致的标签。直观地说，空间上的相似点和外观上的相似点被鼓励分配相同的标签。
事实上，我们的GAC与CRF模型具有相同的特性。具体来说，GAC根据邻域的空间位置和特征属性来分配适当的注意权重。空间位置项鼓励空间上的闭合点共享相似的特征，而特征属性项旨在引导具有相似属性（即低层局部特征或高层语义标签）的点之间的信息传播。因此，在中不再需要CRF模型。
值得注意的是，与将CRF模型表示为递归网络[53]相比，所提出的具有几个引人注目的优点。首先，不需要使用CRF进行独立于CNN的后处理，它相当于将CRF的递归网络展开到网络的每一层，直接引导学习到的特征保持对象的结构以进行语义分割。其次，与CRF的类概率空间中的简单消息传递和兼容性变换相比，GAC还具有将输入信号映射到隐藏特征空间以进一步提取特征的能力。我们在第4.3节中对这些权利要求进行了实验性评估。
3.3点云上的图金字塔构造
本节描述如何在点云上构造图金字塔。具体来说，我们搜索所有点的空间邻域，并将它们链接为一个图。通过交替应用图形构造和粗化技术，构造出不同空间尺度的图形金字塔。此外，在图形构建过程中，记录每个点邻域在最细尺度上的协方差矩阵，并将其特征值作为局部几何特征（geo特征）。点的初始特征向量由高度、RGB和地理特征组成。点云上的图形构造。对于记录点的空间坐标的点云P，我们构造了一个有向图G（V，E）。这里，每个顶点都与一个点相关联，边被添加到该点与其KG邻居之间。在我们的实验中，在半径为ρ的范围内对KG近邻进行随机采样，由于KG近邻与点云的密度无关，因此比搜索KG近邻具有更好的性能。图形粗化。与图像域中的金字塔结构类似，我们使用最远点采样算法将输入点云P用一组比率进行子采样[35] 。将次采样点云表示为P={P0，P1，…，P L}，其中L是次采样的标度数，P0=P 。对于每个PL（L=0，…，L），可以将对应的图Gl（Vl，El）构造为以上描述。
四、实验
在本节中，我们评估了基于各种3D点云分割基准的，包括大规模3D室内空间（S3DIS）[1]数据集和[15]数据集。通过三个指标对性能进行了定量评估，包括每类交并（IoU）、每类平均IoU（mIoU）和总体精度（OA）。此外，对GAC的几个关键部件的性能进行了进一步的分析。
4.1在S3DIS数据集上的室内分割
S3DIS数据集包含来自三个不同建筑的六个室内区域的3D RGB点云。每个点都用13个类别中的一个语义标签进行注释。对于一个原则性的评估，我们遵循[45，33，23]选择区域5作为我们的测试集，并对的其余部分进行培训，以确保培训模型没有看到测试区域的任何部分。值得注意的是，第5区域与其他区域不在同一建筑中，区域5和其他区域的物体之间存在一些差异。这种跨建筑的实验装置在测量模型泛化性的同时，也给分割任务带来了挑战。
为了准备我们的训练数据，我们首先将数据集一个房间一个房间地拆分，然后将它们分成1.2m×1.2m的块，每边有0.1m的缓冲区。位于缓冲区内的点被视为上下文信息，与模型训练或类预测的损失函数无关。此外，为了便于训练，对每个块中的点进行采样，得到统一的4096个点。在测试阶段，块可以是任意大小，这取决于计算设备的内存。在这个实验中，我们把我们的测试室分成4096个×9个点的四分块。根据第3.3节，每个块被单独构造为图形金字塔，用于训练或测试。
实验结果的定量评价见表1 。我们可以看到，在大多数类中，所提出的比其他竞争方法表现得更好。特别是，我们在窗户、桌子、沙发和木板上取得了可观的成绩。在S3DIS数据集中，板和窗被粘贴在墙上，很难用几何的方法来描述，但是我们的仍然可以根据它们的颜色特征将它们分割出来。由于GAC的卷积权值不仅根据相邻点的空间位置，而且根据相邻点的特征属性进行分配，因此即使空间几何丢失或较弱，也能够捕获点云的判别特征。