Few-shot Learning 小样本学习在图像领域的研究现状( 三 )


相比孪生网络,匹配网络(Match )为支撑集和 Batch 集构建不同的编码器,最终分类器的输出是支撑集样本和 query 之间预测值的加权求和 。
提出的框架学习一个网络,来映射少量的有标签的Set 样本和将一个无标签的样本映射到它的标签(预测),同时避免在适应新的类上面进行微调 。
(1)新的类;(2)每个类的训练样本只有一个;(3)学习一个网络映射输入空间到新的空间,比较相似度;
创新点:
模型层面: Nets (MN),使用注意力机制和存储记忆来快速学习 。
训练过程:Task 的概念,每个 task 模拟最后的 meta- 的任务,然后the task fromto,即一次训练几个任务 (),重复很多次 () 。
该文章也是在不改变网络模型的前提下能对未知类别生成标签,其主要创新体现在建模过程和训练过程上 。对于建模过程的创新,文章提出了基于和的nets,使得可以快速学习 。
for One Shot 论文分析
对于训练过程的创新,文章基于传统机器学习的一个原则,即训练和测试是要在同样条件下进行的,提出在训练的时候不断地让网络只看每一类的少量样本,这将和测试的过程是一致的 。
创新点:
基于双向 LSTM 学习训练集的 (特征映射),使得每个支撑样本的(特征映射)是其它训练样本的函数;基于 -LSTM 来对测试样本 (特征映射),使得每个 Query 样本的是支撑集的函数 。文章称其为 FCE (fully- ) 。
【2】Oriol ,, Tim , Daan , et al.for one shot . Inin, pages 3630–3638, 2016.
2.1.3原型网络( )
原型网络是解决小样本分类问题的一个比较实用且效果还不错的方法,它基于这样的想法:每个类别都存在一个原型表达,该类的原型是set 在空间中的均值 。然后,分类问题变成在空间中的最近邻 。
在小样本分类问题中,最需要解决的一个问题是数据的过拟合,由于数据过少,一般的分类算法会表现出过拟合的现象,从而导致分类结果与实际结果有较大的误差 。为了减少因数据量过少而导致的过拟合的影响,可以使用基于度量的元学习方法,而原型网络便是 。在此方法中,需要将样本投影到一个度量空间,且在这个空间中同类样本距离较近,异类样本的距离较远 。
如图c1、c2、c3 分别是三个类别的均值中心(称 ),将测试样本 x 进行后(将样本x投影至这个空间),与这 3 个中心进行距离计算,从而获得 x 的类别 。:
那么,现在有几个问题:
怎么将这些样本投影至一个空间且让同类样本间距离较近?
怎么说明一个类别所在的位置?从而能够让未标记的样本计算与类别的距离
首先,先来说明第一个问题,即如何投影 。论文中提到了一个带参数的嵌入函数,这个函数可以理解为投影的过程,表示样本的特征向量,函数值表示投影到那个空间后的值,这个嵌入函数是一个神经网络,参数是需要学习的,可以认为参数决定了样本间的位置,所以需要学习到一个较好的值,让同类别样本间距离较近 。

Few-shot Learning  小样本学习在图像领域的研究现状

文章插图
想法说完了,再来说具体实现 。首先说明一下训练数据,论文中实验的数据分为支持集和查询集:
支持集:即训练集,在本论文中由一些已标记的样本组成,比如有N个类,每个类中有M个样本,则为N-way–M-shot 。
查询集:即测试集,在本论文中由一些已标记的样本和部分未标记的样本组成,同理测试时要根据训练时来,如训练时为N-way–M-shot,则测试时也要为N-way–M-shot 。
论文中认为一个类由这个类所有样本在投影空间里的平均值决定,所以,类k的原型为: