8.2-无监督学习-线性降维( 四 ) _假设

有了这些以后呢，我们要解这个问题。S是，又是半正定。也就是说所有的**（特征值）**都是non-(比较困惑的话，可以去看李老师的现代课) 。这个问题的就是：w^1w1是的。它不只是一个，它是对应到最大的\λ那一个。这个就是结论
中间的过程是：首先我要用 ( )，式子是：g(w1)=(w1)TSw1-\alpha ((w1)Tw1-1)g(w1)=(w1)TSw1?α((w1)Tw1?1)，接下来你把这个g对所有的w做偏微分(w是一个，有很多的)，令这个式子通通等于0(偏微分)，整理一下你会得到这个式子：Sw1-\alpha w1=0Sw1?αw1=0 。这个式子告诉我们说：是满足这个式子，如果写成Sw1=\alpha w1Sw1=αw1的话，w1w1就是S的一个。但是S的有很多，而且你还可以找到的长度等于1 。所以你接下来要做的事情是，看哪一个带到这个式子里面((w1)TSw1(w1)TSw1)可以(w1)TSw1(w1)TSw1 。整理一下变为\alpha (w1)Tw1α(w1)Tw1，得到结果为\alphaα，谁可以让这个\alphaα最大呢？答案是：w1w1是对应到的时最大，这个\alphaα是最大的 \ _1λ1.

文章插图
那我要找w2w2的话，我们要解是这样的：max((w2)TSw2)max((w2)TSw2)其中 $(w2)Tw^2=1 $ (w2)Ts1=0(w2)Ts1=0 。我们要根据w2w2投影以后的。结论是：w^2w2也是S的一个，然后它对应到2^{nd}2nd\ _2λ2 。那我们现在来解它：你先写一个 g，里包括了你要的对象，还包括了两个，分别乘以\alpha,\betaα,β 。接下来你对所有的参数做偏微分(w2w2所有的) 。做完以后你得到这个式子(Sw2-\alpha w^2-\beta w1=0Sw2?αw2?βw1=0)，然后坐左同时乘以w1w1的(乘以w1w1的以后，会出现(w1)Tw1(w1)Tw1会等于1,(w1)TW2(w1)TW2等于0)，整理一下等于((w1)TSw2)T((w1)TSw2)T(scale)，在整理一下得到(w{2})TSw1(w2)TSw1 。我们已经知道w^1w1是S的，而且它对应到最大的λ 1 ( ( S w 1 = λ w 1 )。从这边我们得到 )。从这边我们得到 β 等于 0 ，所以剩下的等于 0 ，所以剩下的 S w 2 ? α w 2 = 0 ，然后得出，然后得出 S w 2 = α w 2。。w 2 \ ((Sw^1=\ w^1) 。从这边我们得到) 。从这边我们得到\beta等于0，所以剩下的等于0，所以剩下的Sw^2- \alpha w^2=0，然后得出，然后得出Sw^2=\alpha w^2 。。w^2 λ1?((Sw1=λw1) 。从这边我们得到) 。从这边我们得到β等于0，所以剩下的等于0，所以剩下的Sw2?αw2=0，然后得出，然后得出Sw2=αw2 。。w2是一个，但是它是哪一个呢？它是第二大。
z =Wx，这里神奇的地方就是：z的是（对角矩阵），也就是说如果我们今天做PCA，你原来的data 可能是左边这张图，做完PCA以后，你会做（解相关），你会让你不同的间的是0.也就是说你算z这个的话，会发现它是( )，这样做是有好处的。假设你PCA得到的(z)，这个新的是要其他的model用的，你的model假设说是一个 model，你用来描述某一个class的，而你在做假设的时候，你假设说input data它的是，你假设不同的之间没有，这样可以减少你的参数量。
你把原来的input data做PCA以后，再丢给其他的model，其它的model就可以假设现在的input data它的之间没有。所以它就可以用简单的model处理你的input data，这样就可以避免的情形。
这件事情怎么说明呢？z的是z-\bar{z}z?zˉ乘以(z-\bar{z})T=WSWT(z?zˉ)T=WSWT,s=Cov(x)，把S乘进w1,…wkw1,…wk变成[Sw1,Sw2,…Swk][Sw1,Sw2,…Swk],w1w1是S的，\λ是，所以[Sw1,Sw2,…Swk][Sw1,Sw2,…Swk],w1w1变成[\ w^1,\ w^2,…\ w^k,][λw1,λw2,…λwk,]，然后把W乘进去，然后就变成了[\ W w^1,\ Ww^2,…\ Wwk,][λWw1,λWw2,…λWwk,] 。(w1w1是W的第一个row)W乘以w^1w1等于e_1e1（w_1,…,w_nw1,…,wn是相互正交）,e_1e1就是第一维是1，其它都是0，这个东西就是。
PCA,第一个找出的w^1w1是对应到最大的，然后找出的w^2w2就是对应到第二大的,以此类推。有一个证明告诉你说：这么做的话，每次投影的时候都可以让最大。