最近在看Paul Allison寫的這本Multiple regression: A primer，光看第一章就覺得很精采了，因為他用問答的方式，讓你了解為什麼要用multiple regression。
我先把第一章的標題先列出來：
1.1 What is multiple regression?
1.2 What is multiple regression good for?
1.3 Are there other names for multiple regression?
1.4 Why is multiple regression so popular?
1.5 Why is regression “linear” ?
1.6 What does a linear equation look like with more than two variables?
1.7 Why does multiple regression use linear equations?
1.8 What kinds of data are needed for multiple regression?
1.9 What kinds of variables can be used in multiple regression?
1.10 What is ordinary least squares?
1.11 How can we judge how good the predictions are?
1.12 How do we judge how good the coefficient estimates are?
1.13 How does multiple regression “control” for variables?
1.14 Is multiple regression as good as an experiment?
光看就覺得很精采了，不是嗎？雖然這些我都學過也知道，但就是沒有老師在上課時這麼清楚地點出來，很多都是摸索以後才學到的。下面分享一下精華摘要：
1.1 什麼是線性迴歸
線性迴歸是研究單一依變項(dependent variable)與一個或以上自變項(independent variable)之間的關係。
1.2 線性迴歸有什麼好？
線上迴歸有兩個主要用處：預測(prediction)與因果分析(causal analysis)。預測指的是用已觀察的變數來預測依變項；因果分析則是將自變項當作是依變項發生的原因。
1.3 線性迴歸有別的名稱嗎？
全稱應為Ordinary least squares multiple linear regression. 有時候會看到這幾個字的組合，像linear regression, least squres regression, OLS regression (OLS指的是ordinary least squares)
1.4 為什麼線性迴歸這麼熱門？
線性迴歸有兩個非常令人滿意的地方：預測與因果分析。在使用預測的研究，線性迴歸可將許多變數結合起來作一個最佳預測；在使用因果分析的研究，線性迴歸則可以將每一個變數的影響分開。
1.5 為什麼迴歸是「線性」？
是線性因為是基於線性方程式。例子如下：
收入 = 8000 + (1000 x 受幾年教育)
1.6 多於兩個變數的線性方程式看起來是什麼樣子？
收入= 8000 + (1000 x 受幾年教育) + (500 x 年紀)
1.7 為什麼迴歸要用線性方程式？
真實情況有可能得用複雜的方程式來計算。不過我們沒有理由相信非線性一定比線性好。當你不知道的時候，就行簡單的開始。即使事物真實關係非線性，線性方程式也提供了一個近似值。
1.8 什麼資料是線性方程式所需？
要一些cases、要幾個變數。cases不應少於變數數量，而且愈多愈好。
1.9 什麼樣的變數能用在線性迴歸？
Interval scales，像是年紀、薪水，scale之間是等距的，這類變數是最理想的。ordinal scales理論上不應用在線性迴歸，因為每個scale之間的差異並不相同，但在實際研究上，這類變數常使用線性迴歸分析，而且也因為這類變數沒其它麵interval scales可取代。
ordinal scales的例子像是：1：非常不同意； 2：不同意 ；3同意； 4：非常同意。
剩下的部分就讓大家自己看囉！
您好..有一個問題想請問,若使用迴歸時,因為依變項非常態分佈,使用log transformation,轉置後的結果如何解釋,另和使用原始資料模式的R2值,有沒有比較的基準
1單位independent variable的改變is associated with beta單位log change on dependent variable。1單位log是10倍。
所以如果你的coefficient是0.5的話，就是10的0.5次方倍的改變。
第二個問題我不會。
好像應該說是percentage change才對
…….
其實使用log transformation(即是將Y或X變為lnY或LnX)，並不是因為Y是非常態….
我意思是，如果Y是非常態，那即使你換作lnY都仍然會是非常態，問題根本仍然沒變
將Y轉為lnY，是有別的原因，例如︰
1. 理論性原因，例如說如果你認為並不是好感度與泡妞技巧呈線性關係，而是ln(好感度)與泡妞技巧呈線性關係，那麼你就會用lnY而不用Y (當然，為甚麼你如此認為則是一個理論性問題，不在現時討論範圍之內)
2. 為了避免相異方差(heteroscedasticity)的出現，但我不太想詳細說明這事情….一來周章很多，二來我本人並不贊成使用這方法來避免相異方差問題
(to be continued)
>>轉置後的結果如何解釋
我先說普通的情況，然後才解釋轉置後的
舉個例，Y = 好感度，X = 泡妞技巧
假如我使用了現實數據得出了如下如果︰
Y^ = 3 + 0.5X
那即是說，即使你不使用任何泡妞技巧(X=0時)，好感度仍然會有3分
然後，我們知道dY/dX = 0.5，即是說Y與X的變化率是0.5單位…..換個方式講，當X上升1單位時，Y則會上升0.5單位
—————外道爬過—————
現在看看另一個例子︰
lnY^ = 2.6 + 1.1X
按剛才所言，dY/dX是Y對X的變化率，那麼這條迴歸方程的dY/dX等於甚麼?
先兩邊取導數，即 (1/Y)(dY/dX) = 1.1
再兩邊乘以dX，則變成dY/Y = 1.1dX
甚麼意思? 即是說當dX上升1單位，dY/Y則會上升1.1單位
甚麼是dX? 是X的微分，是X的改變量
甚麼是dY/Y? 是Y的改變量除以Y，亦即是百分率
那即是說，當X上升1單位，Y就會上升1.1%
—————外道爬過—————
總結一下
Y^ = 3 + 0.5X (1)
lnY^ = 2.6 + 1.1X (2)
(1)的係數0.5你會解釋為X上升1單位則Y上升0.5單位
(2)的係數1.1你會解釋為X上升1單位則Y上升1.1%
明未?
>>另和使用原始資料模式的R2值,有沒有比較的基準
R^2，叫做決定係數(coefficient of determination)，其取值在0到1之間
這東西如果用圖像就很易說明…..看下圖
http://i40.photobucket.com/albums/e225/raymond008375/R2.png
你如果用直線方程，描述效果良好
你如果用曲線方程，描述效果較差
R^2就是用來量度這個「良好程度」的東西，即是說，前者的R^2肯定比後者要大
換句話講，R^2通常是用來比較不同形態的方程，哪一個的擬合程度(goodness of fit)最高
但一定要小心使用….這個R^2有時會有很多爭議性的矛盾出現…..但我不說明了，因為很費篇幅
感謝raymond不吝指教！你說的非常清楚，受益良多！
請問一下 能夠用線性迴歸分析兩波型相似程度嗎?
假設A,B波形都是由200點組成波，個點去比較相似性
該用迴歸分析好 還是相關系數呢?
請教版主一下
我最近在做影像處理，
需要做簡單線性迴歸，
我有一組資料點(x1,y1)…(xn,yn)，
但其中有些點是outlier想排除，
若直接用最小平方法，誤差會很大，
想利用robust fitting，
但爬了好多相關文章，都是介紹理論，
我該怎麼實作呢?
請版大幫忙指導一下!
hch.giant@gmail.com
@志玄,
我只知道在stata裡面可以跑regress，加上robust的指令。這些東西又幾種，包括：Huber/White/sandwich estimator 就請先查查看吧
有的人會刪1 percentile 與99 percentile的資料，有的人會刪更的。也有的人有trimming，這些都可以看你領域其它人是怎麼作的
謝謝版主!!沙漠中的甘泉!!