在很多統計方法裡都會看到p值， 通常在許多期刊表格的下方都會看到*p<0.05, **p<0.01, ***p<0.001，所以就說*是顯著，**是很顯著，***是非常顯著 (這裡的顯著指的是magnitude)，所以說p<.001 的效果比p<.05的好，這樣說對嗎？
要回答這個問題就要先回到p的定義。
p值 (也有人用p value) 用簡單的語言說，就是此測試結果有百分之幾的可能是由於機率的關係，再簡單一點就是出錯的機率，所以p<0.05 的意思就是此檢定小於5%的可能是由於機率。所以p value是檢驗是否有顯著差異，但不同的p值不代表顯著差異的大小。另外，p值越小，不代表就越能反駁統計假設，這僅能表示出錯的機率而已。
許多人可能就接著會想：對啊，那p<0.01 當然比 p<0.05更顯著 (同上，指magnitude)，不是嗎？這樣的說法是不正確的，因為我們設p值是出錯機率，而p值界線是為了判定結果是否為顯著，所以只有兩種結果：顯著和不顯著，這邊提的是機率，而不應該用「非常顯著」或very significant這樣的詞語加諸在數據上面，而宣稱X對於Y結果具有「非常顯著」的效果，這是不正確的，怎麼可以用出錯的機率來推斷X對於Y的影響有多大呢？如果要知道效果的大小，得看effect size (可參考 話說Effect Size )。
許多人讀圖表的時候，都會把*: P < 0.05 (significant), **: P < 0.01 (highly significant); ***: P < 0.001 (extremely significant) 當作是米其林指南(Le Guide Michelin，為一本世界的飲食指南)，把*的多寡當作是顯著程度。這不可不慎！
如網友cog5566指出，顯著、非常顯著可以指「信心程度」， 所以bottom line就是p值是用來判斷接受與拒絕虛無假設，以及對結果的信心程度。
2009/11/25 更新
網友 Chen-Pan Liao 贊助了幾個值得思考的觀點，可以作為檢驗自己是否真的了解p值的意義：
P-value 並不能表示效應的大小;
P-value 並不是 alternative hypothesis 為偽的機率;
P-value 並不是觀測值是極端值的機率;
P-value 並不是犯 type one error 的機率;
P-value 並不是重覆取得觀測值得到不同結果的機率;
P-value 並不能決定顯著水準.
如果是回歸分析的話
我一值搞不清楚到底是p值重要還是R-square重要
如果R^2很低(<0.1), 但p值很小(p<0.01)
那麼還認為這樣的分析結果有意義嗎??
p值很重要是無庸置疑的，如果p沒有significant 的話，你的r square應該會小到近於0吧！
所以我想你要問的是R^2到底重不重要呢？我會說視領域而定。在Psychology或Education，他們都會作一些實驗設計之類的，以便能用最少的因素解釋最多的variance。我有個正在寫的paper，R^2將近0.6，高到我自己也嚇一跳。
但另外一方面，經濟學或社會學就很比較難找到這麼大的R^2，很多journal article的R^2有的都不過是0.1甚至更小，不過他們關心的是：「加入什麼因素可以解釋更多原因」或是「有什麼因素mediate或moderate independent variable和dependent variable之間的關係。」我另外一個在寫的paper，R^2也大概是0.1左右，這也不是什麼很稀有的事。
總之，看問題的角度不多，對待R^2的態度也不同。一點淺見與你分享。
我自己是做消費心理實驗的，我是覺得R^2如果太小其實真的很糟糕，代表你的操弄對於依變數的影響太低，特別是在實驗室實驗之下的話。但我承認，在調查研究或是次級資料研究上，的確會有很多時候R^2奇低無比，但我認為這種時候是否可以視為正常，必須要考慮兩個因素：DV的複雜性，以及IV的數目。對於高複雜性（亦即有眾多可能的前因），在沒有適當的控制變數之下，R^2很小是很可能發生的；另外，IV數目多寡也會直接影響到R^2（所以正確而言應該要看adj R^2）。如果你用兩個IV去解釋一個很複雜的DV，那R > .1就應該偷笑了；但反過來，如果你用很多變數去解釋一個理論上已經很清楚，且前因有限的DV，卻得到很低的R^2，那你資料鐵定有問題。
至於迴歸分析中R^2跟p哪個重要？沒有半個顯著的p，那你一定不會有好的R^2，而且你model的總檢定F value理論上應該會不顯著，不過說到底，這兩個目的不同，很難比較誰比較重要。
我想借問一下
我是目前在寫論文的一個學生,但對於spss真是完全不了解
每當看到那些分析過後的數值我真是無阿進入狀況更別說
要了解和分析該用什麼測量法,之前學校老師也是在課堂上叫我們
輸入數值,但那些基本概念根本全部不懂阿
我的問卷目前處於回收的狀況當中,我有個白吃問題問卷第一部份是個人資料第二部份則是滿意度調查,那這兩個部份都應該用不同的測量法分析嗎?
拜託大師們請指點迷津,我該如何突破這個困難？我人在國外,眼看論文也快要交了,拜託…請告訴我該如何快點了解和著手spss
謝謝Chun-Ming Yang的補充，你說的比我完整多了！
@jo,
資料分析要注意的地方很多，要如何詮釋結果也不是三言兩語就說得完的。如果不了解，建議買本或借本spss的書來參考比較實際。你可以在博客來找找榮泰生教授所著的書，找一、兩本來學習，應該會很有幫助的。
板主，此篇可否轉貼到我的部落格上給學生參考？
楊老師,
我忘了註明這篇是特別寫來讓大家轉貼的，只要附上部落格名稱與原文網址即可。謝謝！
簡單幾句話贊助這個有趣的問題:
P-value 並不能表示效應的大小;
P-value 並不是 alternative hypothesis 為偽的機率;
P-value 並不是觀測值是極端值的機率;
P-value 並不是犯 type one error 的機率;
P-value 並不是重覆取得觀測值得到不同結果的機率;
P-value 並不能決定顯著水準.
不能同意。
以這樣的觀點，就已經預設那些說非常顯著的人的想法是＂顯著 = 效果＂或是 ＂顯著=影響力＂
但他們真的是這樣想嗎？
P為在H0為真的情況下，會得到這筆data的機率
換句話說，可以解釋成"這筆data可能是符合H0的程度"。再換句話說，就是我們拒絕H0的信心程度。
當我說 ＂這筆資料非常顯著＂的時候，我的意思是＂這筆data的可確定程度非常高，不太可能是因為隨機造成的結果＂。
我不覺得這樣的說法有什麼問題，有問題的是那些誤解p的人，不是說這句話的人。
謝謝 Chen-Pan Liao 的友情贊助，我晚點將這段話放到正文的後面，當作是腦力激盪。
至於cog5566所說的，「這筆資料非常顯著」，好像我不論用中文想或英文想，都無法跟你所指的意思連結起來，總覺得你這句話沒有參照點或沒有說完。不知道你是否同意？
我覺得比較完整的說法應該是「差異有統計意義」之類的，如果單說「這筆資料非常顯著」，我想這句話讓人誤會的可能性應該很高。
我覺得我應該是有把我想要表達的講到，不過可以等等再舉例說明。
沒錯, 其實我會認為 「差異非常有統計意義」和「這筆資料非常顯著」的意思是一樣的。
換句話說，「差異有統計意義」的"程度"，本身就是p 值的意義。
p 值本身不只有代表著 "顯著" 和 "不顯著" 這樣的離散的概念。
他本身就具有資料統計意義的連續性。
用來決斷顯著和不顯著的是 alpha。但是p 本身是連續的數值。
既然它連續，那他就代表著有量上面的變化，有"非常"和"非常不"
的副詞可以修飾。
舉例來說，在alpha = 0.05的時候
有一筆資料得到的p值為 0.0499999
另一筆資料的p值為 0.000001
此時我們都可以宣稱他們為顯著。
但是哪個資料比較"可信"?
哪個資料比較可以確定不是由隨機造成?
或是說哪個統計結果是比較有統計上的意義?
這個答案但絕對不可能是 "都相同。因為他們都顯著"
你還是會知道第二筆資料你可以更安心，你可以更確定效果的穩定，你可以確定投稿的時候不會被打回來叫你加收樣本。
都是顯著，但是p值仍代表著某種量上面的變化。
所以重點是這種量上面的變化到底是什麼?
當然不會是你的效果大小。因為那是effect size 的責任。
而是當在說「這筆資料非常顯著」時，就是在表述這種對於資料的"信心"、這種對於統計意義的信心程度。
當然，以"誤會的可能性"來說，「這筆資料非常顯著」確實較高。
不過還是回到我原本的論述。這不是說的人的錯，是聽的人的錯。
首先感謝原作者對我的小小讚助這麼捧場!
P-value 的定義很單純, 是 null-hypothesis 為真的前題下, 得到當前樣本或更極端樣本的機率 (極端指的是偏離 null-hypothesis.) 因此, 我認同 cog5566 將 p-value 視為 "信心程度" 的說法.
但站在統計檢定的原則, p-value 的功能是用來決定 reject or not reject null-hypothesis, 二選一. 因此, P-value 到底比 alpha 小多少, 都得到同樣的結論.
上述這二種對 p-value 的看法似乎存在衝途. 前者看重 p-value 是種機率的性質, 後者看重 p-value 如何幫助我們進行決策. 我想, 作者與 cog5566 可能分別偏向了某一項看待 p-value 的角度罷了.
謝謝cog5566與Chen-Pan Liao的留言，讓大家對p值的觀念更清楚。
在cog5566的第二次留言，我才比較清楚我們在講有點不一樣的東西，也謝謝Chen-Pan Liao指出來：一個指的是信心程度，一個指的是用以決定接受或拒絕null hypothesis。
等會我會把文章稍微修改一下，以釐清這些地方。
抱歉想請問一下有關"effect size"數值的意義解釋～
本身沒有特別鑽研過統計學這方面
但因為大四需要參考實證醫學
最近被p value, type I/II error, 統計分析方法,某某test弄的七暈八素
今天看的一篇review又跳出一個"effect size"
不懂其"小/中/大"的意義要如何解釋到研究結果上？
（如果說某研究其結果顯示"no significant difference"那他的effect size會有一定的大小嗎？）
感謝回答啊～
讀了大學四年
原本還以為我不會再接觸到數學了
沒想到現在實證醫學要碰的數學更複雜了啊…
(嘆)
有時候coefficient大，不代表effect size大，要看該變數的range與standard deviation才知道。為了方便比較哪個treatment在哪方面效果比較大，就得用到 effect size了。
基本上如果沒有顯著差異，那就不會有effect size。比較準確一點說，effect size太小而且也沒有意義。
希望這極簡版的說明能回答你的問題。
這樣我大概知道了
也許是我在看那篇期刊時有漏看的部份
感謝您啊！！！！！
想請問P值與p-value是相同的嗎?
假設在一個表上出現
相關係數0.85
顯著值0.03
p<0.05
哪一個是P值?
哪個是p-value?
顯著值0.03就是p值，也就是p value。p=0.03不就說明 p<0.05嗎？
請問我看到有的文章標示星號的方式為下:
***：表示達 1%顯著水準，**：表示達5%顯著水準，*：表示達 10%顯著水準
好像跟你介紹的不太一樣，是要依據哪一種 來將p值打上星號?
從你的網站上獲益良多!
這方面我只是初學者.
但站在數學上思考,
若 alpha = .05
一筆資料p值為 0.0499999. 另一筆資料的p值為 0.000001
我認為它確實是相同.
0.000001 並不會比 0.0499999 更安心.
聽起來是很奇怪, 但這確實是機率的問題.
不論是"接近"還是"離很遠", 跌進去, 就是 5%.
所以 Cohen 也提及, 這種 "統計上的顯著", 其實並不完全具說服力.
只因 "H0 為真, 出現這件事機會很微".
而現在"不知怎樣出現了", 就認為 H0 "應該不可能"
並無邏輯上的必然性.
就是, p-value 再小, 都不會使 H0 更假.
個人覺得, 如果 p-value 能反映 "程度", 就不需要 effect size 了.
P直用圖形解釋就比較不抽象了 以下連結的圖 常態分配最左或最右邊那區塊就是P值 越小 我們越可以對統計結果有信心 而不是"研究越正確"
http://gt7520.pixnet.net/blog/post/46425550-%E7%B5%B1%E8%A8%88%E9%8C%84iv–%CE%B1%E3%80%81%CE%B2%E3%80%81typei,ii-error%E5%8F%8Ap-value%E5%BF%83%E5%BE%97%E7%B5%B1%E6%95%B4
應該是拒絕或“不拒絕”虛無假設 比較恰當？
回應樓上icekcw的說法, *號只是代表不同的顯著水準, 你也可以用上標的1,2,3…或a,b,c…來代表不同的顯著水準. 但是paper中必須有清楚的註解說明. 也就是說不同paper的*號代表的意義是可以不同的, 只是顯著水準一般常用95%, 99%, 99.9%, 所以感覺不同paper的*號代表的意義都一樣. *號的數量不具有任何的分析涵義.
以樓上Gilbert舉例之"一筆資料p值為 0.0499999. 另一筆資料的p值為 0.000001"為例
若預設alpha = 0.05, 這2筆資料都是P < alpha, 拒絕H0;
若預設alpha = 0.01, 第1筆資料P > alpha, 接受H0, 第2筆資料P < alpha, 拒絕H0.
簡單說隨著預設alpha值不同, 同樣的數據有可能是顯著差異也可能是沒有顯著差異, 應該是實驗需求設定alpha值, 後續統計分析才能用於解釋實驗結果.
實驗設計時, 若預期操縱變因會帶來巨大的結果差異, 或者預期隨機誤差不會很小, 應選擇較大的alpha值(此時常用0.05), 將不夠大的差異視為隨機誤差. 在此前提下, 若以alpha = 0.001進行統計分析得到數據有顯著差異, 則此差異很可能來自隨機誤差而非操縱變因, 這種"顯著差異"嚴格來說意義不大(因為alpha值選擇不適當), 此時若用"非常顯著"來解釋分析結果就會產生很大的錯誤.
請問一下：
P-value 並不是犯 type one error 的機率呢?