浅谈迁移学习

夏初临 2019-01-11 11:47 人工智能,迁移学习
迁移学习


“

       对于人类来说，迁移学习（Transfer Learning,TL）就是掌握举一反三的学习能力，对某一项技能或心理机能的学习和精进能够对其他技能或心理机能产生积极影响。比如：学会骑自行车后，接着学骑摩托车就很简单；在学会打羽毛球之后，再学打网球也就没那么难。对于计算机而言，所谓迁移学习，就是能让现有的模型算法稍加调整，即可应用于一个新的领域和功能的一项技术。

”


01

什么是迁移学习

     英国作家杰弗里·威廉斯曾说“你永远不能理解一种语言——除非你至少理解两种语言。”

    于人类而言，对某一项技能或心理机能的学习和精进能够对其他技能或心理机能产生积极影响，这种效应即为迁移学习。

    那么对于计算机领域呢？


在计算机领域，了解两个基本概念：

（1）域（domain）

包括两个部分D=X,Y(X)，特征空间和概率。

①特征空间：X是特征空间代表所有可能特征向量取值；

②概率：P(X)是边缘概率分布它代表了某种特定的采样。

例如X是一个二维空间，P(X)为过原点的一条直线。

（2）任务（task）

包括两个部分T=Y,f(x)，标签空间和预测函数。

预测函数是基于输入的特征向量和标签学习而来的，它也称为条件概率分布P(y|x）。

    迁移学习，即给定了源域（source domain）和源任务（source task）、目标域（target domain）和目标任务（target task），利用源域在解决任务中获得一些知识来提升目标任务的这样一种算法。其中源域与目标域不相等或者源任务与目标任务不相同。


02

迁移学习的分类

   

(1) 按特征空间分

① 同构迁移学习（Homogeneous TL）：源域和目标域的特征空间相同，XS=XT；

② 异构迁移学习（Heterogeneous TL）：源域和目标域的特征空间不同，XS≠XT。

（2）按迁移场景分

① 归纳式迁移学习（Inductive TL）：源域和目标域的学习任务不同；

② 直推式迁移学习（Transductive TL)：源域和目标域不同，学习任务相同；

③ 无监督迁移学习（Unsupervised TL)：源域和目标域均没有标签。


D(s,t)

T(s,t)源域标签目标标签
归纳式迁移学习相同不相同，但相关    有/无
直推式迁移学习不相同，但相关        相同      有
无监督迁移学习不相同，但相关不相同，但相关      无


03

迁移学习的基本方法

样本迁移

      样本迁移（Instance based TL）：一般都是将source的样本融入target，当成target的加权样本直接用于训练，通过一些算法来调整source样本的权重，当source和target的P(Y|X)是一样的时候，这种方法效果很好。其中，样本重新调整权重和重要性采样是样本迁移里主要用到的两项技术。

      下图的例子就是找到源域的例子，然后加重该样本的权值，使得在预测目标域时的比重加大。

图片2.png

       该方法的优点是方法简单，实现容易；缺点在于权重的选择与相似度的度量依赖经验，且源域与目标域的数据分布往往不同。


特征迁移

特征迁移（Feature based TL）有两种方式：

（1）类似迁移样本，将特征调整权重之后加入target进行训练；

（2）建立source和target的特征关联，可以用某种映射减少源和目标的差异。

      假设源域和目标域含有一些共同的交叉特征，通过特征变换，将源域和目标域的特征变换到相同空间，使得该空间中源域数据与目标域数据具有相同分布的数据分布，然后进行传统的机器学习。

4.jpg

      该方法的优点是对大多数方法适用，效果较好；缺点在于难于求解，容易发生过适配。

模型迁移

       假设source tasks和target tasks之间共享一些参数，或者共享模型hyperparameters（超参数）的先验分布。这样把原来的模型迁移到新的domain时，也可以达到不错的精度。

       比如利用上千万的图像来训练好一个图象识别的系统，当我们遇到一个新的图像领域问题的时候，就不用再去找几千万个图像来训练了，只需把原来训练好的模型迁移到新的领域，在新的领域往往只需几万张图片就够，同样可以得到很高的精度。

       该方法的优点是可以充分利用模型之间存在的相似性，缺点在于模型参数不易收敛。

关系迁移

       假设两个域是相似的，那么它们之间会共享某种相似关系，将源域中逻辑网络关系应用到目标域上来进行迁移，比如师生关系到上司下属关系的迁移，生物病毒传播到计算机病毒传播的迁移。

关系迁移.JPEG

结束语

jieshuyu

   迁移学习的理论研究价值有两点，一是可以解决标注数据稀缺性，二是非平稳泛化误差分享。目前迁移学习的应用种类逐渐增加，也给许多领域带去一定的突破。迁移学习让我们可以想象这样一种可能性，让所有网络信息都成为机器学习系统的基础，而系统则可通过迁移学习获得更个性化的信息。



—END—




夏初临 选取沧海与蓝天的色泽。

为你推荐