【技术创作101训练营】迁移学习的陈述

第1页PPT:

第1页PPT演讲稿：

大家好，我是一名本科在读大三学生，下面我将跟大家分享一下最近正在学习的迁移学习知识，还望前辈们不令赐教。

第2页PPT:

此处会读一下PPT上的内容，让观众对汇报内容做到心中有数

第2页PPT演讲稿：

面，我将从以下七个方面介绍一下迁移学习，层层深入，帮助大家去了解迁移学习的基本知识。

第3页PPT：

第3页PPT演讲稿：

什么是迁移学习呢？

要了解迁移学习，首先要了解传统深度学习中存在的问题：即海量图像数据需要标记，耗费大量人力物力。

为了解决图像标记的困难，因此产生了“迁移学习”的思想：即通过通过减少源域和目标域之间的分布差异进行知识迁移，从而实现数据标定。

另外，大量的研究表明从源域的大规模数据集中学习卷积神经网络的表示可以有效地迁移至新的目标域。迁移学习的思想在于”通过学习目标和已有知识之间的关联性，把知识从已有的模型和数据中迁移至要学习的目标中“。

第4页PPT：

第4页PPT演讲稿：

要知道为什么要了解迁移学习？

主要是因为目前在图像识别领域存在的着一系类问题，使用传统的机器学习无法解决。

主要存在以下三个问题：大数据与少标注的矛盾、大数据与弱计算的矛盾、普适化模型与个性化需求的矛盾。

第5页PPT：

第5页PPT演讲稿：

那么迁移学习的基本问题有哪些呢？

其实，主要有以下三种，“设计迁移方法”、“源领域选择”、“避免负迁移”。

通过设计迁移方法，来解决如何进行迁移学习的问题，通过对源领域的选择，来解决给定目标领域，找到相应源领域，然后实现迁移的问题。

在进行模型迁移时，还应注意如何避免负迁移，也就是确定什么时间可以加进行迁移，什么时间不可以。

负迁移（Negative transfer ）是迁移学习领域一个很重要的概念，它是指在进行迁移学习之后目标域预测器的性能反而下降这一现象。显然，负迁移对目标域预测器的构建十分有害，但是不幸的是我们现在仍然无法十分有效的解决之一问题。

个人认为，如果想要预防负迁移的影响，那么仍然需要从上面提到的迁移学习的三个问题入手：何时迁移、迁移什么、如何迁移。

在这三个环节上都有可能会引发负迁移，所以需要时时注意自己算法的设计。

第6页PPT：

第6页PPT演讲稿：

主要的概念有四个，域、源域、目标域、任务。在迁移学习中最主要的概念是“域”和“任务”。域是指数据特征和特征分布组成，是学习的主体，比如一些要进行识别的图像。任务，是指学习的结果，包括函数和得到的一些学习数据。域又分为“源域”和“目标域”，如图中的猫咪和老虎。如果通过猫咪的图片进行训练，得到了比较好的模型，拿来识别老虎。那么原来的猫咪相关的数据集就是“源域”，而对模型进行再次训练，对老虎进行识别，那么识别老虎就是目标域。

第7页PPT：

第7页PPT演讲稿：

在这里给大家介绍一下用字符法如何去定义迁移学习中的“域”、“任务”以及“迁移学习”的符号化定义。

第8页PPT：

在这里会通过具体的符号去介绍域、任务、以及迁移学习的定义。

第8页PPT演讲稿：

下面，介绍一下迁移学习领域的一些基本概念。主要的概念有四个，域、源域、目标域、任务。在迁移学习中最主要的概念是“域”和“任务”。域是指数据特征和特征分布组成，是学习的主体，比如一些要进行识别的图像。任务，是指学习的结果，包括函数和得到的一些学习数据。域又分为“源域”和“目标域”，如图中的猫咪和老虎。如果通过猫咪的图片进行训练，得到了比较好的模型，拿来识别老虎。那么原来的猫咪相关的数据集就是“源域”，而对模型进行再次训练，对老虎进行识别，那么识别老虎就是目标域。

第9页PPT：

第9页PPT演讲稿：

第五部分，要介绍下迁移学习的分类。在这部分，我特意将这几类画了结构图，以便大家更容易理解。

（1）迁移学习目前普遍流行的是三种分类方法。按照特征空间分类，可以分为“同构迁移学习”和“异构迁移学习”。

同构迁移学习（Homogeneous TL）： 源域和目标域的特征空间相同；

异构迁移学习（Heterogeneous TL）：源域和目标域的特征空间不同，

（2）按照情景迁移分类，可以分为“归纳式迁移学习”、“直推式迁移学习”和“无监督迁移学习”。

归纳式迁移学习（Inductive TL）：源域和目标域的学习任务不同。

直推式迁移学习（Transductive TL)：源域和目标域不同，学习任务相同。

无监督迁移学习（Unsupervised TL)：源域和目标域均没有标签。

（3）按照迁移方法分类，可以分为“基于样本的迁移”、“基于特征的迁移”、“基于模型的迁移”以及“基于关系的迁移”.

基于样本的迁移 (Instance based TL)：通过权重重用源域和目标域的样例进行迁移。基于特征的迁移 (Feature based TL)：将源域和目标域的特征变换到相同空间；（如：通过拉布拉多犬和阿拉斯加犬的特征空间一致，可以提取其共同特征）

基于模型的迁移 (Parameter based TL)：利用源域和目标域的参数共享模型。基于关系的迁移 (Relation based TL)：利用源域中的逻辑网络关系进行迁移。（如通过找到狼和狗之间可以实现部分参数共享。）

于关系的迁移学习方法 (Relation Based Transfer Learning) 与上述三种方法具有截然不同的思路。这种方法比较关注源域和目标域的样本之间的关系。（如生物病毒与计算机病毒）

以上的三大类分类方法并不是独立的，它们是相互交叉的或者包含的，不过现在我们没有必要分的太过仔细，在后续我们看到各种迁移学习算法之后自然会有一个深刻的认识。

第10页PPT：

第10页PPT演讲稿：

从图中可以看出来，迁移学习与传统机器学习的本质区别：对源域知识的利用。

在传统的机器学习中，针对每个不同的任务通常会建立不同的模型，并且相互独立。

迁移学习则会尽可能的利用之前已经建立的模型中的知识。

此外，对数据利用的方面两者的差异也很大。在传统机器学习领域，通常假设训练集和测试集中的样本都是独立同分布的，这也是为什么在训练集上得到的模型能够在测试集上同样有效的前提。

然而这也使得传统的机器学习算法受到了限制，因为在不同域和不同任务的情况下，样本不再是同分布的，此时迁移学习的作用就体现出来了。在面对源域和目标域时，迁移学习不要求两者的样本是属于同一个分布的，或者说迁移学习中的重要工作 Domain adaptation（域适配）正是要解决这一问题。

第11页PPT：

第11页PPT演讲稿：

迁移学习与多任务学习以及概念飘移这些问题相关，它不是一个专门的机器学习领域。迁移学习在某些深度学习问题中是非常受欢迎的，例如在具有大量训练深度模型所需的资源或者具有大量的用来预训练模型的数据集的情况。仅在第一个任务中的深度模型特征是泛化特征的时候，迁移学习才会起作用。

在学习迁移知识的这部分知识时，主要参考了杨强教授的关于迁移学习的论文。同时参考了王晋东老师的《迁移学习简明手册》，你想知道的很多关于迁移学习的基本知识都可以在这本书里面找到答案。

第12页PPT：

第12页PPT演讲稿：

谢谢大家的观看，有错误及不足的地方敬请各位前辈指正。