《《線性判別分析》PPT課件.ppt》由會(huì)員分享，可在線閱讀，更多相關(guān)《《線性判別分析》PPT課件.ppt（28頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。
1、線性判別分析（LDA）,基本思想,線性判別分析的基本思想是將高維的模式樣本投影到最佳鑒別矢量空間，即把高維空間中的數(shù)據(jù)點(diǎn)投影到一條直線上去，將多維降為一維。并且要求投影后各樣本的類間散布距離最大，同時(shí)類內(nèi)散布距離最小。,LDA 二分類問題公式推導(dǎo),假設(shè)A和B為分類明確的兩類癥狀。在總體A中觀察了P例，在總體B中觀察了q例，每一例記錄了n個(gè)指標(biāo)，分別記為x1,x2,xn。令y是n個(gè)指標(biāo)的一個(gè)線性函數(shù)，即 y=w1x1+w2x2+wnxn y=wTx 其中w1，w2，wn 是待估計(jì)的未知系數(shù)。我們稱上述線性函數(shù)是線性判別法的判別函數(shù)。,假設(shè)用來區(qū)分二分類的直線（投影函數(shù))為： 類別i的樣本均值:
2、類別i投影后的均值為： 投影后，類別內(nèi)點(diǎn)之間的分散程度（方差）為： 最終我們可以得到一個(gè)下面的公式，稱為準(zhǔn)側(cè)函數(shù)。,為了找到最有利于分類的的方向W，還需要建立一個(gè)準(zhǔn)側(cè)函數(shù)：,LDA,我們分類的目標(biāo)是找到一個(gè)最優(yōu)化的W，使得類別內(nèi)的點(diǎn)距離越近越好（集中），類別間的點(diǎn)越遠(yuǎn)越好。,分母表示每一個(gè)類別內(nèi)的方差之和，方差越大表示一個(gè)類別內(nèi)的點(diǎn)越分散，分子為兩個(gè)類別各自的中心點(diǎn)的距離的平方，我們最大化J(w)就可以求出最優(yōu)的w,定義： （1）樣本類內(nèi)離散度矩陣Si和總類內(nèi)離散度矩陣,（2）樣本類間離散度矩陣 SB,LDA,LDA,然后將J(w)分子和分母分別化為： 這樣目標(biāo)優(yōu)化函數(shù)可以化成下面的形式：,瑞
3、利商,根據(jù)廣義Rayleigh商的性質(zhì):,J（w）的極值與w的大小無關(guān)，只與w的方向有關(guān)。,Fisher算法步驟總結(jié)： 由Fisher線性判別式 求解向量 的步驟： 把來自兩類 的訓(xùn)練樣本集 分成 和 兩個(gè)子集 和 。 由 ，i=1,2 ，計(jì)算 mi。 由 計(jì)算投影后各類的類內(nèi)離散度矩陣 計(jì)算類內(nèi)總離散度矩陣 計(jì)算 Sw 的逆矩陣 。 由 求解w* 。,幼兒不同年齡段的身高體重指標(biāo)：,經(jīng)典Fisher線性判別分析方法,LDA,LDA,LDA,Sw奇異問題的解決方法：, R-LDA PCA+LDA N-LDA D-LDA,R-LDA,由于Sw總是半正定的，為了使之正定，可以將另外一個(gè)正定的對(duì)角矩
4、陣與之相加，以兩者之和代替Sw，即是：,上式中a為任意正實(shí)數(shù)，I為單位矩陣，顯然對(duì)于任意的正實(shí)數(shù)a，Sw總是非奇異的，用Sw代替Fisher準(zhǔn)則函數(shù)中的Sw。用上述方法就可以求解最優(yōu)投影方向矩陣。在R-LDA中，對(duì)角矩陣的系數(shù)a的選擇沒有理論依據(jù)，可以選擇多個(gè)不同的數(shù)值進(jìn)行分類實(shí)驗(yàn)，通過實(shí)驗(yàn)結(jié)果來選擇一個(gè)最優(yōu)的值。 用Sw代替Sw的確可以消除Sw的奇異性，但代替之后，通過最大化Fisher準(zhǔn)則函數(shù)選取的最優(yōu)投影方向矩陣就變成原始最優(yōu)投影方向矩陣的一個(gè)近似矩陣，且選擇不同的系數(shù)a會(huì)導(dǎo)致得到不同的最優(yōu)投影方向矩陣。,Sw =Sw+a I,為了保證Sw是非奇異矩陣,需要t+c個(gè)訓(xùn)練樣本,當(dāng)特征維數(shù)t
5、特別大時(shí),在實(shí)際應(yīng)用中往往難以滿足要求。為了解決訓(xùn)練樣本不夠的情況, 提出了中間過渡子空間,即先將t維的高維空間經(jīng)過PCA降到f維的過渡子空間,再在此空間進(jìn)行LDA變換,得到最終的g維子空間。更確切地說,可以表示為：,PCA+LDA,N-LDA,Sw的奇異性意味著Fisher準(zhǔn)則函數(shù)的分母為零，而在Fisher準(zhǔn)則函數(shù)中，若有一投影方向可以使得Fisher準(zhǔn)則函數(shù)分母為零，這樣意味著此投影方向可以使得低維空間中的同類數(shù)據(jù)達(dá)到最小的分離。當(dāng)品為奇異時(shí)，意味著有多個(gè)投影方向可以使得Fisher準(zhǔn)則函數(shù)分母為零，即意味著有多個(gè)投影方向可以使得低維空間中的同類數(shù)據(jù)達(dá)到最小的分離。從這些不同的投影方向中
6、，若能選出一個(gè)投影方向，使原始數(shù)據(jù)集進(jìn)此投影后能在低維空間中達(dá)到不同類數(shù)據(jù)的最大分離度，就從某種程度上實(shí)現(xiàn)了最大化Fisher準(zhǔn)則函數(shù)所需要表達(dá)的含義。以上是N-LDA解決小樣本問題的基本思想,N-LDA計(jì)算最優(yōu)投影方向矩陣的方法如下：,N-LDA,對(duì)Sw進(jìn)行奇異值分解：,從Uw中找出Sw的零空間null(Sw )：,上式中Uw1為Uw的前r1列， Uw2為Uw的后m-r1列，r1=rank(Sw),將原始數(shù)據(jù)集投影到此零空間中，計(jì)算零空間內(nèi)數(shù)據(jù)集的類間散布矩陣SB：,N-LDA,對(duì)SB進(jìn)行特征值分解：,計(jì)算最優(yōu)投影方向矩陣：,上式中UB=(UB1 ， UB2)， UB1為UB的前r2列，UB
7、2為UB的后r2列， r2=rank(SB)。,N-LDA從Sw的零空間null(Sw )中尋求最優(yōu)投影方向，在某些情況下，N-LDA求得的這個(gè)投影方向可以保證數(shù)據(jù)集在投影后的低維空間中類內(nèi)散布值最小，但卻不能保證類間散布值和類內(nèi)散布值之比達(dá)到最大，或者說N-LDA求得的這個(gè)最優(yōu)投影方向并不是實(shí)際最優(yōu)的。這種現(xiàn)象產(chǎn)生的根本原因是N-LDA只從而的零空間null(Sw )中尋求最優(yōu)投影方向，拋棄了品的非零空間range(Sw ) ，而事實(shí)是在一些情況下最優(yōu)投影方向卻恰恰存在于此品的非零空間range(Sw ) 。,N-LDA,D-LDA,D-LDA的基本思想從某種意義上來說和上述N-LDA思想相
8、同，D-LDA將SB的零空間null(SB )剔除，從剩余的非零空間range(SB )內(nèi)尋找使得此空間內(nèi)數(shù)據(jù)集類內(nèi)散布矩陣Sw達(dá)到最小值得投影方向，選擇此投影方向?yàn)镈-LDA所要尋求的最優(yōu)投影方向。,D-LDA算最優(yōu)投影方向矩陣的方法如下：,D-LDA,對(duì)SB進(jìn)行特征值分解：,上式中UB是正交矩陣，B是一個(gè)對(duì)角矩陣。,計(jì)算原始數(shù)據(jù)集在SB的非零空間range(SB)中的類內(nèi)散布矩陣Sw：,上式中UB1 為UB的前sl列， UB2為UB的后m- sl 列， sl =rank(SB)。,對(duì)Sw進(jìn)行奇異值分解：,D-LDA,上式中Uw為正交矩陣，w為對(duì)角矩陣。,算最優(yōu)投影方向矩陣：,D-LDA拋棄SB的零空間null(SB)，而從其非零空間range(SB)中尋求最優(yōu)投影方向。與N-LDA面臨的問題相同，在某些情況下，D-LDA求得的這個(gè)投影方向只能保證數(shù)據(jù)集在投影后的低維空間中類間散布值不是最小的情況下類內(nèi)散布值最小，而不能保證兩者比值達(dá)到最大值，因?yàn)樵谝恍┨厥馇闆r下，最優(yōu)投影方向也可能正位于SB的零空間null(SB) 中。同時(shí)，D-LDA需要頻繁的在SB的非零空間range(SB)內(nèi)進(jìn)行各項(xiàng)矩陣運(yùn)算，這導(dǎo)致其計(jì)算量過大，因而不適合實(shí)際應(yīng)用。,D-LDA,謝 謝！,
《線性判別分析》PPT課件.ppt
