功能描述:
PointNet的缺点:
PointNet不捕获由度量空间点引起的局部结构,限制了它识别细粒度图案和泛化到复杂场景的能力。
利用度量空间距离,我们的网络能够通过增加上下文尺度来学习局部特征。
点集通常采用不同的密度进行采样,这导致在统一密度下训练的网络的性能大大降低。
新的集合学习层来自适应地结合多个尺度的特征。
一,介绍:
PointNet++:分层方式处理在度量空间中采样的一组点 。
通过基础空间的距离度量将这组点分割成重叠的局部区域。
提取局部特征来捕获来自小邻域的精细几何结构; 这些局部特征被进一步分组为更大的单元并被处理以产生更高级的特征。
重复这个过程直到我们获得整个点集的特征。
需要解决的问题:
如何生成点集的划分
如何通过局部特征学习抽象点集或局部特征。
这两个问题是相关的:
点集的分割必须产生跨分区的共同结构,以便像卷积设置那样共享局部特征学习者的权重。
PointNet++在嵌套的分割输入集上递归的运用pointNet
每个分区:相邻的球。每个分区包含质心位置和规模。质心通过最远采样点算法获得(FPS)
感受野依赖输入数据和度量。
二.问题描述:
X = (M; d) 是离散的度量空间,m是点,d是距离度量。m的密度不均匀,
三.方法:
可以看作增加了层次结构的pointNet,
复习pointnet:缺乏不同规模上捕捉局部上下文的能力。(采用分层特征学习框架)
分层架构:
New architecture builds a hierarchical grouping of points and progressively abstract larger and larger local regions along the hierarchy.
At each level, aset of points is processed and abstracted to produce a new set with fewer elements.
抽象层的三个关键层:
Sampling layer : selects a set of points from input points (确定局部区域的图心)
Grouping layer : 分组层通过查找质心周围的“邻近”点来构建局部区域集。
PointNet layer :使用小型PointNet将局部区域模式编码为特征向量
输入:N * (d + c) 矩阵,d纬度坐标,c点特征纬度。
输出:. It outputs an N0 × (d + C0) matrix of N0 subsampled points with d-dim coordinates and new C0-dim feature vectors summarizing local context
采样层:迭代最远点采样(FPS)来选择点x1,x2...的子集 ,(距离其余的子集在欧几里得空间上距离最远)
分组层:
输入:大小为N(d + C)的点集和大小为NId的一组质心的坐标
输出:groups of point sets of size N0 × K × (d + C),where each group corresponds to a local region and K is the number of points in the neighborhood of centroid points
使用方法:bell查询(和cnn相比)
pointNet层:
输入:N0 local regions of points with data size N0×K×(d+C)
输出:输出中的每个局部区域都由其质心和局部特征抽象出来,这些特征对质心的邻域进行编码。 Output data size is N0 × (d + C0)
将局部的点坐标进行转化,通过使用相对坐标和点要素,我们可以捕捉到局部区域内的点对点关系 。
3.3 对不均匀采样的鲁棒特征学习:
we should look for larger scale patterns in greater vicinity.
density adaptive PointNet layers
联系:highspeedlogic
QQ :1224848052
微信:HuangL1121
邮箱:1224848052@qq.com
网站:http://www.mat7lab.com/
网站:http://www.hslogic.com/
微信扫一扫:
|