2011暑期集訓(xùn)專題七--因子分析專題.ppt

2011數(shù)學(xué)建模集訓(xùn)班專題,精彩源于堅(jiān)持，搏過(guò)才知其美,曾九孫2011/7/13,專題七因子分析,1基本概念2概述3因子分析4實(shí)例分析,1基本概念,(1)均值（mean）均值作為一組數(shù)據(jù)的代表，反映該組數(shù)據(jù)平均水平，計(jì)算公式如下：性質(zhì)1：,Matlab命令：mean(x),(2)方差（variance）方差用于衡量數(shù)據(jù)的集中或分散程度，公式為：Matlab命令：var(x)標(biāo)準(zhǔn)差（standarddeviation）是觀測(cè)值與均值間的平均距離，公式為：Matlab命令：std(x),圖1.不同方差數(shù)據(jù)示意圖,(3)協(xié)方差（variance）協(xié)方差用于衡量數(shù)據(jù)的協(xié)變趨勢(shì)，公式為：matlab命令：cov(x,y)(4)均方誤差（meansquareerror）用于衡量實(shí)際數(shù)據(jù)與預(yù)測(cè)數(shù)據(jù)的偏離程度，公式為：,(5)數(shù)據(jù)標(biāo)準(zhǔn)化假定有n組樣本，m個(gè)變量，其原始數(shù)據(jù)矩陣X為：對(duì)矩陣進(jìn)行標(biāo)準(zhǔn)化，其公式為：從而使得矩陣的每一列均值為0，方差為1標(biāo)準(zhǔn)化2,(6)相關(guān)系數(shù)(correlationcoefficient)相關(guān)系數(shù)是對(duì)于變量而言，第j個(gè)和第k個(gè)變量之間的相關(guān)系數(shù)公式為：相關(guān)系數(shù)大小在區(qū)間-1,1之間，也可寫為：,相關(guān)系數(shù)幾何意義1.余弦定理：2.兩點(diǎn)間距離公式：,對(duì)于標(biāo)準(zhǔn)化數(shù)據(jù)，原點(diǎn)為，記為點(diǎn)A，計(jì)算X與Y的夾角有從而有,圖2.夾角余弦示意圖,表1.北京、天津、上海非農(nóng)業(yè)人口與建成區(qū)面積,2因子分析(factoranalysis)概述,目的用少數(shù)幾個(gè)變量刻畫(huà)較多變量間的協(xié)方差關(guān)系基本思路根據(jù)相關(guān)性大小分組，s.t.組內(nèi)變量相關(guān)性較高，不同組間變量相關(guān)性較低分類R型因子分析：刻畫(huà)變量之間的相關(guān)性Q型因子分析：刻畫(huà)樣本之間的相關(guān)性,3因子分析的數(shù)學(xué)模型,相關(guān)矩陣考慮n個(gè)樣本，m個(gè)變量的標(biāo)準(zhǔn)化數(shù)據(jù)矩陣-第j個(gè)變量的第i個(gè)樣本，右邊列向量表示第j個(gè)變量在n個(gè)樣本上的觀測(cè)值，視為n維空間的一個(gè)點(diǎn)或向量,相關(guān)系數(shù)或協(xié)方差可以表示為表示為內(nèi)積形式為m個(gè)變量間的相關(guān)系數(shù)構(gòu)成一個(gè)m維矩陣,考慮兩個(gè)變量的情形，有易知半正定矩陣->矩陣特征值非負(fù)；若m個(gè)變量線性無(wú)關(guān)，則R正定，為對(duì)角矩陣，特征值全正。對(duì)于標(biāo)準(zhǔn)化數(shù)據(jù)，可通過(guò)相關(guān)系數(shù)研究協(xié)方差矩陣的結(jié)構(gòu)。,3.1因子模型及其基本定理,因子分析的目標(biāo)是將原來(lái)的m個(gè)變量表示成為若干個(gè)因子（新變量）的線性組合形式：式中為互不相關(guān)（正交）的因子。,公因子：反映變量之間的相關(guān)信息單因子：反映相應(yīng)變量的特有信息公因子數(shù)：正整數(shù)，p3時(shí)變換過(guò)程非常復(fù)雜。,方差極大正交旋轉(zhuǎn)因子坐標(biāo)系正交旋轉(zhuǎn)的目的主要是尋求適當(dāng)正交變換矩陣，使得中矩陣B的結(jié)構(gòu)盡可能簡(jiǎn)單：每列僅有少數(shù)幾個(gè)元素絕對(duì)值接近1，大部分接近于0，即要求因子僅與少量變量的關(guān)系密切。,方差極大準(zhǔn)則（Varimax）：為運(yùn)算方便，要求B矩陣的每行元素的平方有盡可能大的方差。,四次冪極大正交旋轉(zhuǎn)：主要是清理因子載荷矩陣的行。此外還可以清理載荷矩陣的列，這涉及到因子載荷的四次冪，故稱四次冪最大準(zhǔn)則（Quartimax）。,3.3斜交因子解,有時(shí)由于數(shù)據(jù)自身的原因，正交因子旋轉(zhuǎn)無(wú)法達(dá)到前述目的，需要進(jìn)行斜交因子旋轉(zhuǎn)。斜主因子解：因子軸分別穿過(guò)數(shù)據(jù)組的重心位置，但不滿足。斜參因子解：找到斜主因子解之后，就可以建立斜參因子軸即斜交因子參考軸：令，它們都可以通過(guò)某組正交因子解的斜交變換得到。斜交因子解的原則是盡可能使變量落在主軸附近，或使得變量在參考軸上投影為0。,圖3.因子軸斜交投影示意圖,幾點(diǎn)說(shuō)明通過(guò)主成分分析得到的主因子解是因子分析的基礎(chǔ)，概念還比較籠統(tǒng)，若僅僅滿足于變量的約簡(jiǎn)與正交，這已經(jīng)足夠了。但若需要開(kāi)展某些系統(tǒng)分析，需要進(jìn)一步求解；正交因子解可以進(jìn)一步給出清晰的因子-變量關(guān)系和因子結(jié)構(gòu)，若此時(shí)分析結(jié)論符合實(shí)際，則不必尋求斜交解；一般來(lái)說(shuō)，斜交因子解可以給出較符合實(shí)際的因子解的結(jié)構(gòu)，據(jù)此可以得到更符合實(shí)際的結(jié)論。,4實(shí)例分析,某層控鉛鋅礦品位高規(guī)模大，礦體賦存于古喀斯特裂隙溶洞中?？疾彀l(fā)現(xiàn)，礦區(qū)含銀，且局部達(dá)到工業(yè)品味。為對(duì)該層控鉛鋅礦開(kāi)展綜合評(píng)價(jià)，在礦體不同部位采集了4塊樣本分別化驗(yàn)Pb，Zn，Ag的含量，再進(jìn)行因子分析。標(biāo)準(zhǔn)化數(shù)據(jù)見(jiàn)下表：,表3.標(biāo)準(zhǔn)化數(shù)據(jù)表,首先計(jì)算主因子解（主成分）數(shù)據(jù)表為矩陣形式即為由此得相關(guān)系數(shù)矩陣,由此得特征多項(xiàng)式解得,圖3.特征值遞減折線圖,根據(jù)特征值求出相應(yīng)的特征向量，進(jìn)而得到因子載荷和公因子及方差貢獻(xiàn)表,圖4.因子載荷圖,成分得分系數(shù)矩陣，是載荷矩陣各列除以對(duì)應(yīng)特征值得到的結(jié)果，例如至于成分得分協(xié)方差矩陣則是因子得分的相關(guān)系數(shù)，因子得分表格如下：從載荷表中可看出，第一因子方差貢獻(xiàn)為2.778（92%），但各個(gè)變量的載荷都很大；主成分分布圖上，Ag距第一因子較遠(yuǎn)，看不出變量之間的親疏關(guān)系，需要做正交旋轉(zhuǎn)。,正交旋轉(zhuǎn)采用方差極大正交旋轉(zhuǎn)(Varimax)方法，用原因子載荷矩陣乘以變換矩陣T，即得旋轉(zhuǎn)后的因子載荷矩陣：，其中,至于成分得分系數(shù)矩陣，計(jì)算方法為正交變換后的因子載荷如下表所示：,圖5.正交旋轉(zhuǎn)后的因子載荷圖,對(duì)比圖4和圖5可看出，相對(duì)于正交因子軸，斜交因子軸旋轉(zhuǎn)了39.5度，使得第一因子軸與變量Pb，Zn靠近，第二因子軸與Ag接近，變量與因子的關(guān)系更為清晰，明確。,斜交因子解若進(jìn)行因子旋轉(zhuǎn)，則可以借助斜交因子參考軸得到斜交因子解，常用的解法是Oblimin，結(jié)果如下：在主因子解和正交因子解中，因子載荷即變量與因子間的相關(guān)系數(shù)；斜交解中，因子載荷不再等于變量與因子相關(guān)系數(shù)，可以得到兩組參量：一是因子圖式矩陣(FactorPattern)：相當(dāng)于因子載荷，但絕對(duì)值不限于0-1之間。因它不再是因子與變量的夾角余弦。二是因子結(jié)構(gòu)(FactorStructure)矩陣，是因子與變量的相關(guān)系數(shù)。,圖6.斜交旋轉(zhuǎn)后的因子載荷圖,因子得分不再是正交變量，而是具有32.2度的夾角，因子之間的相關(guān)系數(shù)矩陣為：用因子圖式矩陣乘以因子相關(guān)矩陣，可得因子結(jié)構(gòu)矩陣，這意味著，因子與變量的相關(guān)關(guān)系可由因子間的相關(guān)關(guān)系與因子載荷給出。,謝謝大家,