【迁移学习】迁移学习的干货学习资料 | 干货分享

一. 了解迁移学习
迁移学习（）目标是将从一个环境中学到的知识用来帮助新环境中的学习任务。
> Theof atoand applyandintasks to novel tasks 。
入门推荐一篇公认的比较好的【】：Aon，Sinno , Qiang Yang，IEEE Trans
另外，戴文渊的硕士学位论文也可以看一下：基于实例和特征的迁移学习算法研究
作者归纳了相关的知识域，有必要了解一下这些名词：
● 学习 -to learn
●终身学习 - life-long
●知识转移 -
●归纳迁移 -
●多任务学习 -multi-task
●知识的巩固 -
●上下文相关学习 -
●基于知识的归纳偏差 --basedbias
●元学习 -meta
●增量学习 -and /
另外，进展及 Open可以参考：
二. 迁移学习分类
迁移学习（）根据领域和任务的相似性，可以这样划分：
我们根据源和目前之间的关系，源Task 和目标Task之间的关系，以及任务方法更详细的整理为下表：
源 &
目标
源Task &
目标Task
源Data & 目标Data
任务方法
传统机器学习
相同
相同
有标签 | 有标签
迁移学习
归纳式迁移学习
相同/相关
相关
多任务学习 - 有标签 | 有标签
自我学习- 无标签 | 有标签
分类回归
直推式迁移学习
相关
相同
有标签 | 无标签
分类回归
无监督迁移学习
相关
相关
无标签 | 无标签
聚类降维
实际上，归纳式迁移学习是应用最广泛的一种方法，从这点上看，迁移学习更适合有标签的应用域。
根据技术方法，我们将迁移学习的方法划分为：
说明
归纳式
直推式
无监督
基于样本

文章插图
的迁移学习
通过调整源的标签（辅助）和目标标签的权重，协同训练得到目标模型。
典型方法：
√
√
基于特征
的迁移学习
找到 “好”特征来减少源和目标之间的不同，能够降低分类、回归误差。
典型方法：Self- ，multi-task
√
√
√
基于参数
的迁移学习
发现源和目标之间的共享参数或先验关系。
典型方法： to learn， multi-task
√
基于相关性
的迁移学习
建立源和目标之间的相关知识映射。
典型方法：方法
√
迁移学习方法虽然在学术有很多研究工作，实际上在应用领域并不算成熟，这本身就是一个很大的命题，关于迁移学习的条件和本质也并未形成一套正统的体系来引领研究方向，更多的也是在实验摸索。
迁移学习目前面临如下几个问题：
1. 哪种情况适合做迁移学习？ - What
这里先给个自己的理解：
分类和回归问题是比较适合做迁移学习的场景，有标签的源数据是最好的辅助。
2. 该选择哪种方法？ - Which
简单而行之有效的方法是首选，领域在快速发展，也不必拘泥算法本身，改善结果才是硬道理。
3. 如何避免负迁移？ - How
迁移学习的目标是改善目标域的 Task效果，这里面负迁移（）是很多研究者面临的一个问题，如何得到行之有效的改进，避免负迁移是需要大家去评估和权衡的。
三. 经典算法
算法是基于样本迁移的开山之作，由戴文渊提出，有着足够的影响力放在第一位来进行讲解。
论文下载： for
算法的基本思想是从源数据中筛选有效数据，过滤掉与目标不match的数据，通过方法建立一种权重调整机制，增加有效数据权重，降低无效数据权重，下图是算法的示意图（截图来自于庄福振 -迁移学习研究进展）：

【迁移学习】迁移学习的干货学习资料 | 干货分享 | 技术解读