統計分析

研究生2.0 文章縮圖:因素負荷量與特徵值,左側是 factor loadings matrix,右側是 eigenvalues scree plot。

因素負荷量 (factor loadings) 與特徵值 (eigenvalues)

作因素分析時,常會碰到兩個讓人頭痛的名詞:因素負荷量 (factor loadings)特徵值 (eigenvalues)。加上 scree plot 的判斷,很多人在這幾個步驟都卡住了。這篇的目標很簡單:不講太多數學,把這幾個概念說清楚,以及它們實際上在回答什麼問題。

看懂因素分析:你其實只要過4關

特徵值 (Eigenvalues):這個因素值不值得留?

特徵值(有時也稱為 characteristic roots)回答的是一個問題:這個因素能代表多少個變數的資訊?

以 10 個變數為例,所有因素的特徵值加總等於 10。如果某個因素的特徵值是 0.5,代表它只解釋了半個變數的資訊量——留下這個因素,對精簡變數結構的幫助非常有限。

常見的判斷準則(rule of thumb)是:特徵值 < 1 的因素通常可以刪除(Harman, 1976)。背後的邏輯是,若特徵值小於 1,代表這個因素解釋的資訊量連一個原始變數都不如,自然沒有保留的必要。這個標準在 EFA(探索性因素分析)初步判斷時最常使用,大部分期刊也接受。不過它並非最嚴謹的方式,最好搭配下面的 scree plot 和理論意義一起判斷。

除了看特徵值,也可以觀察每個因素解釋的 % of variance,了解所有因素加總能解釋多少總變異量。

Scree Plot:到底該留幾個因素?

Scree Plot 是另一個判斷因素數量的工具。它把每個因素的特徵值由高到低畫成折線圖,你要找的是線條突然變平的轉折點——轉折點之前的因素留下,之後的捨棄。

轉折點後,每多留一個因素,能新增的解釋量已經非常有限,留下來只會讓模型變複雜,不會更清楚。

需要注意的是,Scree Plot 有一定的主觀性。如果折線是慢慢變平而非突然斷下去,不同人看到的轉折點可能不一樣。這時候不要硬選,應回頭對照理論:這份量表在概念上應該測幾個維度?特徵值準則、scree plot 和理論意義三者一起看,是最穩的做法。

因素負荷量 (Factor Loadings):這個因素代表什麼?

確定保留幾個因素之後,下一步是理解每個因素的意義——靠的就是因素負荷量

因素負荷量是個別變數與因素之間的相關程度(未轉軸前),數值介於 -1 到 1 之間,類似 Pearson 相關係數。因素負荷量的平方,就是該因素能解釋這個變數多少的 variance。例如負荷量為 0.4,代表能解釋 16% 的變異量。

依照 Hair et al.…

因素負荷量 (factor loadings) 與特徵值 (eigenvalues) Read More »

主成份分析與因素分析

這一篇是因素分析的第三篇,前兩篇為:因素分析 (factor analysis)探索性與驗證性因素分析

主成份分析 (principal component analysis,簡稱PCA) 是在因素分析裡面常看到的,但這個名詞常被誤用、混用,而且有時候統計軟體裡面所用的詞彙也不一致,造成許多困擾。我也困擾了很久,這篇是防健忘筆記,有誤請更正

嚴格地說,主成份分析 (PCA) 與因素分析是利用不同的方法來減少變數量 (Jolliffe, 2010),但很多教科書都把這當作是 factor analysis 的一個special case,統計軟體也把 PCA 當作是一個 option,造成了很多誤會。

PCA 的主要目的是將 p個變數,縮減到 m個主成份(principal components),在這同時儘量保留p個變數的variation。如果這m個主成份可以直接解讀,那就更好了。

因素分析的主要目的也是縮減變數,但採用的方式不一樣。簡單地說,因素分析的概念是:p個變數可以用m個factor所組成的線性關係表示。我不愛寫公式,不過真的要寫簡單的話:

變數1 = b1* 因素1 + b2*因素2 + b3*因素3

這個model就像是一般的regression model一樣,相較之下,PCA就沒有一個explicit model。所以這就看出 PCA 與因素分析的不同了:因素分析有個model,而 PCA 並沒有一個explicit model

如果你懂得 PCA 與因素分析背後的數學運算,你可能還會發現到另外一個不同點。Jolliffe (2010, p158) 在書中提到:PCA 與因素分析都是呈現convariance matrix (或correlation matrix) 的一部分,但 PCA 著重在對角線的元素,而 factor analysis 則著重在非對角線的元素上

另一個不同點是會得出幾個主成份或是因素  (Jolliffe, 2010, p159)。根據 PCA 的算法,如果其中有一個變數獨立於其它變數 (i.e.,…

主成份分析與因素分析 Read More »

探索性與驗證性因素分析

這篇是承前一篇因素分析 (factor analysis) ,有不懂的先閱讀。。

簡單地說,因素分析是將許多變量簡化成較少的概念 (construct),而在因素分析裡,常用的兩種方法是:探索性因素分析 (exploratory factor analysis, 簡稱EFA) 與驗證性因素分析 (confirmatory factor analysis,簡稱CFA)。

探索性因素分析 (EFA)

1.png

除了上述的重點以外,探索性因素分析還有一個很重要的假設是:這些 items (也就是x1-x3,亦有人稱為indicators) 是可以跟任何因素 (factors,也就是???)…

探索性與驗證性因素分析 Read More »

Scroll to Top