【2019CVPR学习】翻译( 二 ) _卷积

图形卷积。关于图卷积的相关工作可分为谱方法和非谱方法。谱方法处理依赖于拉普拉斯矩阵特征分解的图的谱表示[19，10] 。在谱图理论的谐波分析中，相应的特征向量可以看作是傅里叶基。谱卷积可以定义为图[8]上两个信号傅里叶变换的元素乘积。这种谱卷积不能保证滤波器的空间局部化，因此需要昂贵的计算[41，17] 。此外，由于谱方法与其对应的拉普拉斯矩阵相关联，在一个图上学习的谱CNN模型不能转化为具有不同的拉普拉斯矩阵的其他图。非谱方法的目的是直接定义空间域或流形域中具有局部邻域的图的卷积。非谱方法的关键是定义一组应用于每个顶点邻域的共享权重[3，48] 。等人。[11]计算每个顶点的权重矩阵，并在求和运算后将其乘以其邻域。尼珀特等人。[32]提出了启发式地选择和排序每个顶点的邻。Monti等人[31]提出了一个统一的框架，允许CNN体系结构在每个顶点周围使用固定的局部极性伪坐标绘制图形。等人。[16]引入了一个归纳框架，通过在邻域上应用一个特定的聚合器，例如max/mean算子或递归神经网络（RNN）。然而，它们的卷积权重主要是根据预先定义的局部坐标系生成的，而忽略了语义分割对象的结构。
深度学习中的CRF 。CRF[22]具有精细的概率建模能力，而CNN具有强大的特征学习能力。CRF和CNN的结合在许多图像分割工作中被提出[5,9,2,29] 。最近，参考文献[21]，CRF推理的迭代被建模为CNN层的堆栈[53，28] 。对于三维点云，继CRF-RNN[53]之后，[45]将CRF的实现扩展到完全连接CNN之后的三维点云。然而，由于CRF是作为CNN之后的一个单独部分应用的，因此很难探索它们结合的力量。
3.方法
提出了一种新的用于三维点云结构特征学习的图形注意卷积算法（GAC），并证明了其理论优势（第3.1节）。然后，我们用所提出的GAC构造了一个端到端的点云分割框架（第3.2节）。第3.3节提供了将点云转换为所需图形金字塔的详细信息。
3.1图形注意卷积
考虑一个由给定点云P={p1，p2，…，P N}∈r3根据它们的空间邻域构造的图G（V，E），其中V={1，2，…，N}和E?|V|×|V|分别表示顶点和边的集合，N是顶点的数目。表示N（i）={j：（i，j）∈E}∪{i}（包括自身）为顶点i的邻域集，设H={h1，h2，…，hN}为一组输入顶点特征，每个特征hi∈RF
与一个对应的图顶点i∈V相关联，其中F为每个顶点的特征维数。
我们的GAC被设计用来学习函数g: RF
→RK
，它将输入特征H映射到一组新的顶点特征H′={H′1，H′2，…，H′N}与H′i∈RK
，同时保持这些输出特征之间的结构联系。同时，与图像域中相对固定的邻域关系不同，本文提出的GAC在保持权值共享特性的同时，还应该能够处理无序和大小变化的邻域。为此，我们构造了一个共享注意机制α：R3+F
→RK
，将注意力集中在邻域中最相关的部分进行特征学习，使得GAC的卷积核能够动态地适应对象的结构。具体来说，每个相邻顶点的注意权重计算如下：
式中ai,j=[ai,j,1,ai,j,2,……，ai,j,K]
∈RK
表示j顶点到i顶点的注意权重向量，Δpij=pj?pi，Δhij=Mg（hj）?Mg（hi），式中Mg:RF→RK是应用于每个顶点的特征映射函数，即Mg是一个多层感知器。α的第一项表示相邻顶点的空间关系，这有助于将无序的相邻点跨越到有意义的曲面。第二项测量顶点对之间的特征差，这指导我们将更多的注意力分配给相似的邻居。共享注意机制α可以用任何可微的体系结构来实现，我们在这项工作中使用了多层感知器（如图2所示），其公式如下：
式中| |是串联操作，Mα表示应用的多层感知器。此外，为了处理不同顶点和空间尺度上大小不同的邻域，注意权重在顶点i的所有邻域上都被规范化，如下所示：