2 文献阅读记录— PointNet++论文学习( 三 )


采用基于距离的插值和跨级别跳过链路的分层传播策略(如图2所示) 。在特征传播层,我们将点特征从Nl×(d+c)点传播到Nl-1点,其中Nl-1和Nl(Nl≤Nl-1)是集合抽象层L的输入和输出的点集大小 。我们通过在Nl-1个点的坐标处插值Nl个点的特征值f来实现特征传播 。在插值的众多选择中,我们使用基于k个最近邻的反距离加权平均(如公式2,默认情况下我们使用p=2,k=3) 。然后将Nl-1个点上的插值特征与来自集合抽象级别的跳过链接点特征串联起来 。然后将串联的特征通过一个“单元点网”,类似于CNN中的逐个卷积 。利用几个共享、全连接和RELU层更新每个点的特征向量 。这个过程是重复的,直到我们已经传播特征到原始的点集 。
(实验)
?MNIST:具有60k训练和10k测试样本的手写数字图像 。
?:40个类别的CAD模型(大部分是人造的) 。我们使用官方拆分,其中9,843个形状用于训练,2,468个用于测试 。
?:来自50个类别的1200个形状 。每个类别包含24个形状,其中大部分是具有各种姿势的有机形状,例如马、猫等 。我们使用五折交叉验证来获得该数据集的分类准确性 。
?:1513个扫描和重建的室内场景 。我们遵循[5]中的实验设置,使用1201个场景进行训练,312个场景进行测试
4.1 Point SetinSpace(欧几里得度量空间中的点集分类)
to(对采样密度变化的鲁棒性) 。
在图 4右侧,我们看到 MSG+DP(在训练期间具有随机输入丢失的多尺度分组)和 MRG+DP(在训练期间具有随机输入丢失的多分辨率分组)对采样密度变化非常稳健 。MSG+DP性能从1024个测试点到256个测试点下降不到 1% 。
4.2 Point SetforScene(语义场景标注的点集分割)
由于采样密度从均匀点云转移到虚拟扫描场景,SSG 性能大大下降 。另一方面,MRG 网络对采样密度变化更加稳健,因为它能够在采样稀疏时自动切换到描绘更粗粒度()的特征 。
4.3 Point Setin Non-Space (非欧几里得度量空间中的点集分类)
对于[12]中的每个形状,我们首先构建由成对测地线距离( )诱导的度量空间 。我们按照 [23] 获得模拟测地线距离()的嵌入度量(an) 。接下来,我们在这个度量空间中提取内在点特征,包括 WKS [1]、HKS [27] 和多尺度高斯曲率 [16] 。我们使用这些特征作为输入,然后根据基础度量空间(thespace)对点进行采样和分组 。通过这种方式,我们的网络学习捕捉不受形状特定姿势(thepose of a shape)影响的多尺度内在结构 。
4.4(特征可视化) 5Work(相关工作) 补充 A
在 Sec B 中,我们在主要论文中提供了用于实验的特定网络架构,并描述了数据准备和训练的细节 。在 Sec C 中,我们展示了更多的实验结果,包括部分分割(part )的基准性能和邻域查询的分析、对采样随机性的敏感性和时间空间复杂度 。
Bin
体系结构
B.1
对于所有分类实验,我们使用具有不同 K(类别数)的以下架构(我们的 SSG):
SA(512, 0.2, [64, 64, 128]) → SA(128, 0.4, [128, 128, 256]) →
SA([256, 512, 1024]) →FC(512, 0.5) → FC(256, 0.5) → FC(K)
多尺度分组(MSG)网络++)架构如下:
SA(512, [0.1, 0.2, 0.4], [[32, 32, 64], [64, 64, 128], [64, 96, 128]]) →
SA(128, [0.2, 0.4, 0.8], [[64, 64, 128], [128, 128, 256], [128, 128, 256]]) →
SA([256, 512, 1024]) → FC(512, 0.5) → FC(256, 0.5) → FC(K)
跨级别(cross level)多分辨率分组 (MRG) 网络的架构使用三个分支:
分支 1:SA(512, 0.2, [64, 64, 128]) → SA(64, 0.4, [128, 128, 256])
分支 2:SA(512, 0.4, [64, 128, 256]) 使用 r = 0.4的原始点区域
分支 3:SA(64, 128, 256, 512) 使用所有原始点 。
分支 4:SA(256, 512, 1024) 。