《lecture因子分析》PPT課件.ppt

第九章因子分析 北京交通大學(xué)李雪梅 因子分析 因子分析模型因子載荷矩陣的估計方法因子旋轉(zhuǎn)因子得分因子分析的步驟 展望和建議 引言因子分析 factoranalysis 是一種數(shù)據(jù)簡化的技術(shù) 它通過研究眾多變量之間的內(nèi)部依賴關(guān)系 探求觀測數(shù)據(jù)中的基本結(jié)構(gòu) 并用少數(shù)幾個假想變量來表示其基本的數(shù)據(jù)結(jié)構(gòu) 這幾個假想變量能夠反映原來眾多變量的主要信息 原始的變量是可觀測的顯在變量 而假想變量是不可觀測的潛在變量 稱為因子 對商店的測度指標(biāo)很多 但消費(fèi)者主要關(guān)心的是三個方面 即商店的環(huán)境 商店的服務(wù)和商品的價格 因子分析方法可以通過24個變量 找出反映商店環(huán)境 商店服務(wù)水平和商品價格的三個潛在的因子 對商店進(jìn)行綜合評價 而這三個公共因子可以表示為 稱是不可觀測的潛在因子 24個變量共享這三個因子 但是每個變量又有自己的個性 不被包含的部分 稱為特殊因子 注 因子分析與回歸分析不同 因子分析中的因子是一個比較抽象的概念 而回歸因子有非常明確的實(shí)際意義 主成分分析分析與因子分析也有不同 主成分分析僅僅是變量變換 而因子分析需要構(gòu)造因子模型 主成分分析 原始變量的線性組合表示新的綜合變量 即主成分 因子分析 潛在的假想變量和隨機(jī)影響變量的線性組合表示原始變量 第一節(jié)因子分析模型 一 數(shù)學(xué)模型 設(shè)個變量 如果表示為 稱為公共因子 是不可觀測的變量 他們的系數(shù)稱為因子載荷 是特殊因子 是不能被前m個公共因子包含的部分 并且滿足 即不相關(guān) 即互不相關(guān) 方差為1 即互不相關(guān) 方差不一定相等 用矩陣的表達(dá)方式 二 Q型因子分析模型 Q型因子分析模型有 此時 表示n個樣品 因子分析的目的就是通過模型 以F替代X 由于m p m n 從而達(dá)到降低維數(shù)的作用 三 因子分析模型的性質(zhì) 1 原始變量X的協(xié)方差矩陣的分解 D的主對角線上的元素值越小 則公共因子共享的成分越多 2 模型不受計量單位的影響 將原始變量X做變換X CX 這里C diag c1 c2 cn ci 0 3 因子載荷不是惟一的 設(shè)T為一個p p的正交矩陣 令A(yù) AT F T F 則模型可以表示為 且滿足條件因子模型的條件 四 因子載荷矩陣中的幾個統(tǒng)計特征 1 因子載荷aij的統(tǒng)計意義 因子載荷是第i個變量與第j個公共因子的相關(guān)系數(shù) 模型為 在上式的左右兩邊乘以 再求數(shù)學(xué)期望 根據(jù)公共因子的模型性質(zhì) 有 載荷矩陣中第i行 第j列的元素 反映了第i個變量與第j個公共因子的相關(guān)重要性 絕對值越大 相關(guān)的密切程度越高 2 變量共同度的統(tǒng)計意義 定義 變量的共同度是因子載荷矩陣的第i行的元素的平方和 記為 統(tǒng)計意義 兩邊求方差 所有的公共因子和特殊因子對變量的貢獻(xiàn)為1 如果非?？拷? 非常小 則因子分析的效果好 從原變量空間到公共因子空間的轉(zhuǎn)化性質(zhì)好 3 公共因子方差貢獻(xiàn)的統(tǒng)計意義 因子載荷矩陣中各列元素的平方和稱為所有的對的方差貢獻(xiàn)和 衡量的相對重要性 第二節(jié)因子載荷矩陣的估計方法 設(shè)隨機(jī)向量的均值為 協(xié)方差為 為 的特征根 為對應(yīng)的標(biāo)準(zhǔn)化特征向量 則 一 主成分分析法 上式給出的 表達(dá)式是精確的 然而 它實(shí)際上是毫無價值的 因?yàn)槲覀兊哪康氖菍で笥蒙贁?shù)幾個公共因子解釋 故略去后面的p m項(xiàng)的貢獻(xiàn) 有 上式有一個假定 模型中的特殊因子是不重要的 因而從 的分解中忽略了特殊因子的方差 注 殘差矩陣 其中S為樣本的協(xié)方差矩陣 二 主因子法 主因子方法是對主成分方法的修正 假定我們首先對變量進(jìn)行標(biāo)準(zhǔn)化變換 則R AA DR AA R D稱R 為約相關(guān)矩陣 R 對角線上的元素是 而不是1 直接求R 的前p個特征根和對應(yīng)的正交特征向量 得如下的矩陣 當(dāng)特殊因子的方差不同且已知的 問題非常好解決 在實(shí)際的應(yīng)用中 個性方差矩陣一般都是未知的 可以通過一組樣本來估計 估計的方法有如下幾種 首先 求的初始估計值 構(gòu)造出 1 取 在這個情況下主因子解與主成分解等價 2 取 為xi與其他所有的原始變量xj的復(fù)相關(guān)系數(shù)的平方 即xi對其余的p 1個xj的回歸方程的判定系數(shù) 這是因?yàn)閤i與公共因子的關(guān)系是通過其余的p 1個xj的線性組合聯(lián)系起來的 3 取 這意味著取xi與其余的xj的簡單相關(guān)系數(shù)的絕對值最大者 4 取 其中要求該值為正數(shù) 5 取 其中是的對角元素 三 極大似然估計法 如果假定公共因子F和特殊因子 服從正態(tài)分布 那么可以得到因子載荷和特殊因子方差的極大似然估計 設(shè)為來自正態(tài)總體Np 的隨機(jī)樣本 它通過 依賴 和 上式并不能唯一確定 為此可添加一個唯一性條件 這里 式一個對角矩陣 用數(shù)值極大化的方法可以得到極大似然估計 極大似然估計將使為對角陣 且似然函數(shù)達(dá)到最大 相應(yīng)的共同度的似然估計為 第J個因子對總方差的貢獻(xiàn) 例假定某地固定資產(chǎn)投資率 通貨膨脹率 失業(yè)率 相關(guān)系數(shù)矩陣為試用主成分分析法求因子分析模型 特征根為 可取前兩個因子F1和F2為公共因子 第一公因子F1物價就業(yè)因子 對X的貢獻(xiàn)為1 55 第二公因子F2為投資因子 對X的貢獻(xiàn)為0 85 共同度分別為1 0 706 0 706 假定某地固定資產(chǎn)投資率 通貨膨脹率 失業(yè)率 相關(guān)系數(shù)矩陣為試用主因子分析法求因子分析模型 假定用代替初始的 特征根為 對應(yīng)的非零特征向量為 第三節(jié)因子旋轉(zhuǎn) 正交變換 建立了因子分析數(shù)學(xué)目的不僅僅要找出公共因子以及對變量進(jìn)行分組 更重要的要知道每個公共因子的意義 以便進(jìn)行進(jìn)一步的分析 如果每個公共因子的含義不清 則不便于進(jìn)行實(shí)際背景的解釋 由于因子載荷陣是不惟一的 所以應(yīng)該對因子載荷陣進(jìn)行旋轉(zhuǎn) 目的是使因子載荷陣的結(jié)構(gòu)簡化 使載荷矩陣每列或行的元素平方值向0和1兩極分化 有四種主要的正交旋轉(zhuǎn)法 四次方最大法 方差最大法和等量最大法 一 為什么要旋轉(zhuǎn)因子 變換后因子的共同度 設(shè) 正交矩陣 做正交變換 變換后因子的共同度沒有發(fā)生變化 二 旋轉(zhuǎn)方法 變換后因子貢獻(xiàn) 設(shè) 正交矩陣 做正交變換 變換后因子的貢獻(xiàn)發(fā)生了變化 1 方差最大法方差最大法從簡化因子載荷矩陣的每一列出發(fā) 使和每個因子有關(guān)的載荷的平方的方差最大 當(dāng)只有少數(shù)幾個變量在某個因子上又較高的載荷時 對因子的解釋最簡單 方差最大的直觀意義是希望通過因子旋轉(zhuǎn)后 使每個因子上的載荷盡量拉開距離 一部分的載荷趨于 1 另一部分趨于0 2 四次方最大旋轉(zhuǎn)四次方最大旋轉(zhuǎn)是從簡化載荷矩陣的行出發(fā) 通過旋轉(zhuǎn)初始因子 使每個變量只在一個因子上又較高的載荷 而在其它的因子上盡可能低的載荷 如果每個變量只在一個因子上又非零的載荷 這是的因子解釋是最簡單的 四次方最大法通過使因子載荷矩陣中每一行的因子載荷平方的方差達(dá)到最大 3 等量最大法等量最大法把四次方最大法和方差最大法結(jié)合起來求Q和V的加權(quán)平均最大 權(quán)數(shù) 等于m 2 因子數(shù)有關(guān) 4 斜交旋轉(zhuǎn)斜交旋轉(zhuǎn)的目的是使新的載荷系數(shù)盡可能的接近于0或盡可能的遠(yuǎn)離0 只是在旋轉(zhuǎn)時 放棄了因子之間彼此獨(dú)立的限制 旋轉(zhuǎn)后的新公因子更容易解釋 主要有以下的方法 directoblimin 直接斜交旋轉(zhuǎn) 允許因子之間具有相關(guān)性 promax 斜交旋轉(zhuǎn)方法 允許因子之間具有相關(guān)性 由于斜交旋轉(zhuǎn)計算量大 通常使用并不多 第四節(jié)因子得分 一 因子得分的概念 前面我們主要解決了用公共因子的線性組合來表示一組觀測變量的有關(guān)問題 如果我們要使用這些因子做其他的研究 比如把得到的因子作為自變量來做回歸分析 對樣本進(jìn)行分類或評價 這就需要我們對公共因子進(jìn)行測度 即給出公共因子的值 因子分析的數(shù)學(xué)模型為 原變量被表示為公共因子的線性組合 當(dāng)載荷矩陣旋轉(zhuǎn)之后 公共因子可以做出解釋 通常的情況下 我們還想反過來把公共因子表示為原變量的線性組合 因子得分函數(shù) 可見 要求得每個因子的得分 必須求得分函數(shù)的系數(shù) 而由于p m 所以不能得到精確的得分 只能通過估計 1 回歸方法 1 思想 則 我們有如下的方程組 j 1 2 m 注 共需要解m次才能解出所有的得分函數(shù)的系數(shù) 矩陣表示方法 在因子模型中 假設(shè)服從 m p 元的正態(tài)分布 有 2 估計的有偏性 3 平均預(yù)報誤差 2 巴特萊特因子得分 加權(quán)最小二乘法 把看作因變量 把因子載荷矩陣看成自變量的觀測 把某個個案的得分看成最小二乘法所要求的系數(shù) 1 巴特萊特因子得分計算方法的思想 由于特殊因子的方差相異 所以用加權(quán)最小二乘法求得分 每個個案作一次 要求出所有樣品的得分 需要作n次 用矩陣表達(dá) 滿足上式的F是相應(yīng)個案的因子得分 2 得分估計的無偏性 如果將f和 不相關(guān)的假定加強(qiáng)為相互獨(dú)立 則 3 第五節(jié)因子分析的基本步驟 計算所選原始變量的相關(guān)系數(shù)矩陣相關(guān)系數(shù)矩陣描述了原始變量之間的相關(guān)關(guān)系 可以幫助判斷原始變量之間是否存在相關(guān)關(guān)系 這對因子分析是非常重要的 因?yàn)槿绻x變量之間無關(guān)系 做因子分析是不恰當(dāng)?shù)?并且相關(guān)系數(shù)矩陣是估計因子結(jié)構(gòu)的基礎(chǔ) 選擇分析的變量用定性分析和定量分析的方法選擇變量 因子分析的前提條件是觀測變量間有較強(qiáng)的相關(guān)性 因?yàn)槿绻兞恐g無相關(guān)性或相關(guān)性較小的話 他們不會有共享因子 所以原始變量間應(yīng)該有較強(qiáng)的相關(guān)性 一 因子分析通常包括以下五個步驟 提取公共因子這一步要確定因子求解的方法和因子的個數(shù) 需要根據(jù)研究者的設(shè)計方案或有關(guān)的經(jīng)驗(yàn)或知識事先確定 因子個數(shù)的確定可以根據(jù)因子方差的大小 只取方差大于1 或特征值大于1 的那些因子 因?yàn)榉讲钚∮?的因子其貢獻(xiàn)可能很小 按照因子的累計方差貢獻(xiàn)率來確定 一般認(rèn)為要達(dá)到60 才能符合要求 因子旋轉(zhuǎn)通過坐標(biāo)變換使每個原始變量在盡可能少的因子之間有密切的關(guān)系 這樣因子解的實(shí)際意義更容易解釋 并為每個潛在因子賦予有實(shí)際意義的名字 計算因子得分求出各樣本的因子得分 有了因子得分值 則可以在許多分析中使用這些因子 例如以因子的得分做聚類分析的變量 做回歸分析中的回歸因子 因子分析是十分主觀的 在許多出版的資料中 因子分析模型都用少數(shù)可闡述因子提供了合理解釋 實(shí)際上 絕大多數(shù)因子分析并沒有產(chǎn)生如此明確的結(jié)果 不幸的是 評價因子分析質(zhì)量的法則尚未很好量化 質(zhì)量問題只好依賴一個 哇 準(zhǔn)則 如果在仔細(xì)檢查因子分析的時候 研究人員能夠喊出 哇 我明白這些因子 的時候 就可看著是成功運(yùn)用了因子分析方法 案例分析 例9 2奧運(yùn)會十項(xiàng)全能運(yùn)動項(xiàng)目得分?jǐn)?shù)據(jù)的因子分析 練習(xí)題 試述因子分析的基本思想 試述因子分析與主成分分析方法的區(qū)別 試述因子載荷的含義及其功能 試述如何計算因子得分 試尋找一個實(shí)例進(jìn)行因子分析