Bài giảng Kinh tế lượng - Chương 6: Đa cộng tuyến - Phạm Văn Minh

Chương 6
ĐA CỘNG TUYẾN
1
NỘI DUNG
1. Bản chất của đa cộng tuyến
2. Nguồn gốc của đa cộng tuyến
3. Ước lượng trong trường hợp có đa
cộng tuyến
4. Hậu quả của đa cộng tuyến
5. Cách phát hiện đa cộng tuyến
6. Biện pháp khắc phục đa cộng tuyến
2
1. Bản chất của đa cộng tuyến
3

 Một giả thiết trong mô hình hồi quy bội là giữa
các biến giải thích không có hiện tượng cộng
tuyến, nghĩa là các biến giải thích không có
tương quan với nhau.

 Đa cộng tuyến là sự tồn tại mối quan hệ tuyến
tính “hoàn hảo”/chính xác hay không hoàn hảo
giữa một số hoặc tất cả các biến giải thích
trong một mô hình hồi quy.
kikiii XXXY ββββ ˆ...ˆˆˆˆ 33221 ++++=
1. Bản chất của đa cộng tuyến (tt)
4

 Nếu tồn tại các số λ2, λ3, , λk sao cho:
λ2X2i + λ3X3i +  + λkXki = 0
Với λi (i = 2, 3, , k) không đồng thời bằng 0 thì mô
hình xảy ra hiện tượng đa cộng tuyến hoàn hảo.

 Nếu λ2X2i + λ3X3i +  + λkXki + Vi = 0
Với Vi là sai số ngẫu nhiên thì mô hình xảy ra hiện
tượng đa cộng tuyến không hoàn hảo (một biến giải
thích có tương quan tuyến tính chặt chẽ với một số
biến giải thích khác).

 Thực tế thường xảy ra hiện tượng đa cộng tuyến
không hoàn hảo.
5Y
X3
X2
1 2
(a) Không có đa cộng tuyến
Y
X3X2
(b) đa cộng tuyến thấp
Y
X3
X2
1
2
(d) đa cộng tuyến hoàn hảo
Y
X3
X2
(c) đa cộng tuyến cao
1. Bản chất của đa cộng tuyến (tt)
6

 Xem xét các mối quan hệ sau để “chẩn đoán”
khả năng xảy ra hiện tượng đa cộng tuyến:
(1) Nhu cầu về café (Y) với giá café (X2) và thu
nhập của người dùng café (X3) ở Brasil.
(2) Mức lương nhân viên (Y) của một công ty với
bậc thợ (X2), độ tuổi (X3) và thâm niên lao
động (X4).
(3) Giá bán nhà (Y) với diện tích (X2) và số phòng
(X3).
(4) Số giờ tự học của SV (Y) với số giờ rảnh, số
giờ dành cho các hoạt động giải trí.
Ta có: 
X3i = 5X2i có hiện tượng cộng tuyến hoàn hảo 
giữa X2 và X3 và r23 =1
X4i = 5X2i + Vi có hiện tượng cộng tuyến không 
hoàn hảo giữa X2 và X4, tính được r24 = 0.9959.
X2 10 15 18 24 30
X3 50 75 90 120 150
X4 52 75 97 129 152
Ví dụ: Yi = β1+β2X2i+β3X3i+ β4X4i + Ui
Với số liệu của các biến độc lập:
1. Bản chất của đa cộng tuyến (tt)
Montgomery và Peck cho rằng đa cộng tuyến là do
các yếu tố sau:

 Phương pháp thu thập dữ liệu: việc lấy mẫu chỉ
giới hạn trong 1 phạm vi hẹp các giá trị của các biến
giải thích trong tổng thể.

 Giới hạn về mô hình hoặc trong tổng thể được
lấy mẫu: ví dụ khi hồi quy Mức tiêu thụ điện (Y) theo
thu nhập (X2) và kích thước nhà (X3). Có một giới
hạn trong tổng thể là gia đình có thu nhập cao
thường có nhà lớn hơn gia đình có TN thấp.
2. Nguốn gốc của đa cộng tuyến
8

 An overdetermined model: mô hình có số lượng
các biến giải thích nhiều hơn số lượng các quan sát.

 Trong dữ liệu chuỗi thời gian (time series data),
khi các biến giải thích có cùng xu hướng thì cũng
thường xảy ra đa cộng tuyến.
◦ Ví dụ: Khi hồi quy tiêu dùng theo thu nhập, sự giàu có
và dân số, các biến giải thích thu nhập, sự giàu có và
dân số có thể đều tăng trong khoảng thời gian nghiên
cứu với tỷ lệ gần giống nhau, đưa đến hiện tượng cộng
tuyến giữa các biến này.
2. Nguốn gốc của đa cộng tuyến
9
3. Ước lượng khi có đa cộng tuyến
10
3.1. Trường hợp có đa cộng tuyến hoàn hảo:
 Các hệ số hồi quy không xác định; phương sai và
các sai số chuẩn của chúng là vô hạn.
 Không thể tách riêng ảnh hưởng của từng biến
giải thích lên biến phụ thuộc từ một mẫu cho
trước.
 Không thể có lời giải duy nhất cho các hệ số hồi
quy riêng, chỉ có thể có được lời giải duy nhất cho
tổ hợp tuyến tính của các hệ số này.
3. Ước lượng khi có đa cộng tuyến (tt)
3.1. Trường hợp có đa cộng tuyến hoàn hảo
11
Xét mô hình: Yi = β1+β2X2i+β3X3i+ Ui (1)
Giả sử: X3i = λX2i x3i = λx2i
Theo OLS:
∑ ∑ ∑
∑ ∑ ∑ ∑
∑ ∑ ∑
∑ ∑ ∑ ∑
−
−
=
−
−
=
2
3i2i
2
3i
2
2i
i2i3i2i
2
2ii3i
2
3i2i
2
3i
2
2i
i3i3i2i
2
3ii2i
)xx(xx
yxxxxyx
)xx(xx
yxxxxyx
3
2
ˆ
ˆ
β
β
Tuy nhiên nếu thay X3i = λX2i vào hàm hồi qui 
(1), ta được:
Yi = β1+β2X2i+β3 λX2i + Ui
Hay Yi = β1+ (β2+ λβ3) X2i + Ui (2)
Ước lượng (2), ta có:
0
0
λ)λ(
)λ)(λ()λ(ˆ
22
2
2 =
−
−
=
∑ ∑ ∑
∑ ∑ ∑ ∑
22
2i
2
2i
2
2i
i2i
2
2i
2
2ii2i
)x(xx
yxxxyx
β
0
0
3ˆ =β
3201
ˆˆˆ,ˆ βλβββ +=
Thay x3i = λ2x2i vào công thức:
Tương tự: ( : không xác định)
3. Ước lượng khi có đa cộng tuyến (tt)
3.1. Trường hợp có đa cộng tuyến hoàn hảo
32
ˆ
,
ˆ ββ

 Tóm lại, khi có đa cộng tuyến hoàn hảo thì
không thể ước lượng được các hệ số trong mô
hình mà chỉ có thể ước lượng được một tổ
hợp tuyến tính của các hệ số đó.

 Hay có thể ước lượng được
nhưng không thể ước lượng với một lời
giải duy nhất.
3. Ước lượng khi có đa cộng tuyến (tt)
3.1. Trường hợp có đa cộng tuyến hoàn hảo
320
ˆˆˆ βλββ +=
32
ˆ
,
ˆ ββ
 Thực hiện tương tự như trong trường hợp có đa
cộng tuyến hoàn hảo nhưng với X3i = λX2i +Vi
Vẫn có thể ước lượng được các hệ số trong mô
hình.
 Dữ liệu chuỗi thời gian thường xảy ra đa cộng
tuyến không hoàn hảo.
3. Ước lượng khi có đa cộng tuyến (tt)
3.1. Trường hợp có đa cộng tuyến không hoàn hảo
Về mặt lý thuyết, khi có đa cộng tuyến gần hoàn hảo (đa
cộng tuyến cao), các ước lượng OLS vẫn thỏa mãn
tính chất BLUE, nhưng hậu quả thực tế của nó gồm:
1. Phương sai và hiệp phương sai của các ước lượng OLS
lớn.
2. Khoảng tin cậy của các hệ số hồi quy rộng hơn.
3. Tỷ số t “không có ý nghĩa”.
Sai số chuẩn của các hệ số hồi quy lớn làm cho giá trị t
nhỏ đi, từ đó sẽ làm tăng khả năng chấp nhận giả thiết H0
4. R2 cao nhưng tỷ số t ít có ý nghĩa
Dựa trên cơ sở kiểm định t, một hoặc một số hệ số hồi qui
riêng không có ý nghĩa về mặt thống kê. Tuy nhiên, R2 lại
rất cao (thường trên 0,9).
15
4. Hậu quả của đa cộng tuyến
5. Các ước lượng OLS và sai số chuẩn của chúng trở nên
rất nhạy với những thay đổi nhỏ trong dữ liệu.
6. Dấu của các ước lượng của các hệ số hồi qui có thể
sai.
Ví dụ khi ước lượng hồi quy cầu của hàng hóa thông
thường theo thu nhập, nếu xảy ra hiện tượng đa cộng
tuyến gần hoàn hảo, thì có thể hệ số của biến thu nhập
mang dấu (-), điều này mâu thuẫn với lý thuyết kinh tế.
7. Thêm vào hay bớt đi các biến cộng tuyến với các biến
khác, mô hình sẽ thay đổi về dấu hoặc thay đổi về độ lớn
của các ước lượng.
Đa cộng tuyến làm tăng sai số chuẩn, sai số chuẩn lớn hơn
phản ánh sự biến thiên của hệ số hồi qui từ mẫu này đến
mẫu khác cao hơn. 16
4. Hậu quả của đa cộng tuyến (tt)
17
4. Hậu quả của đa cộng tuyến (tt)

 Thí dụ:
18
4. Hậu quả của đa cộng tuyến (tt)

 Kết quả phân tích hồi quy của 2 mẫu quan sát
lần lượt là:
19
5. Cách phát hiện đa cộng tuyến
(1). Hệ số R2 lớn (>0,8) nhưng rất ít tỷ số t có ý nghĩa.
(2). Tương quan cặp giữa các biến giải thích cao
(hệ số tương quan > 0,8). Lưu ý là có trường hợp
tương quan cặp không cao nhưng vẫn xảy ra hiện
tượng đa cộng tuyến, đặc biệt là khi mô hình có
nhiều hơn 2 biến giải thích.
(3). Sử dụng mô hình hồi quy phụ: Hồi quy 1 biến
giải thích X nào đó theo các biến còn lại.
Tính R2 và F cho mô hình.
Kiểm định H0: R2 = 0 bằng kiểm định F, tức kiểm
định giả thiết biến X không tương quan tuyến tính
với các biến còn lại. Nếu chấp nhận H0 thì không có
hiện tượng cộng tuyến.
Xét : Yi = β1+β2X2i+β3X3i+ β4X4i + Ui
Cách sử dụng mô hình hồi qui phụ như sau:
- Hồi qui mỗi biến độc lập theo các biến độc lập còn 
lại. Tính R2 cho mỗi hồi qui phụ:
2
2R
2
3R
2
4R
4...2j0R2j =∀=
Hồi qui X2i = α1 + α2X3i + α3X4i+u2i 
Hồi qui X3i = λ1 + λ2X2i + λ3X4i+u3i 
Hồi qui X4i = γ1 + γ2X2i + γ3X3i+u4i 
- Kiểm định các giả thiết 
H0:
- Nếu chấp nhận các giả thiết trên thì không có đa
cộng tuyến giữa các biến độc lập.
5. Cách phát hiện đa cộng tuyến (tt)
(4). Sử dụng nhân tử phóng đại phương sai (VIF):
- Đối với mô hình có 2 biến giải thích X2 và X3:
VIF = 1/(1-r223)
Với r23 là hệ số tương quan giữa X2 và X3
Khi r23=1 thì VIF tiến đến vô hạn.
Khi không có cộng tuyến giữa X2 và X3 thì VIF=1.
- Trường hợp có (k-1) biến giải thích: VIF = 1/(1-R2j)
Với R2j là giá trị R2 trong hàm hồi quy của Xj theo (k-
2) biến giải thích còn lại. Theo quy tắc kinh nghiệm,
nếu VIF của 1 biến vượt quá 10 (khi R2j>0,9) thì biến
này được coi là có cộng tuyến cao.
21
5. Cách phát hiện đa cộng tuyến (tt)
5. Cách phát hiện đa cộng tuyến (tt)
Xét số liệu thí dụ trang 143. Hãy kiểm
định hiện tượng đa cộng tuyến bằng
cách sử dụng mô hình hồi quy phụ
23
5. Cách phát hiện đa cộng tuyến (tt)
Với mức ý nghĩa 5%, tra bảng
phân phối F: F0,05(1,10) = ?
(1). Sử dụng thông tin tiên nghiệm
Thông tin có thể có được từ công việc thực tế trước
đây hoặc từ các lý thuyết trong lĩnh vực nghiên cứu.
Ví dụ: Yi = β0 + β1X1i + β2X2i +Ui
Trong đó:
Y: chi tiêu cho tiêu dùng
X1: thu nhập
X2: sự giàu có
X1 và X2 có khuynh hướng cộng tuyến cao. Giả sử
nghiên cứu thực nghiệm trước đây cho kết quả:
β2 = 0,1β1 24
6. Biện pháp khắc phục đa cộng tuyến
(1). Sử dụng thông tin tiên nghiệm (tt)
Biến đổi mô hình hồi quy trên, ta được:
Yi = β0 + β1Xi + Ui
Với Xi = X1i + 0,1X2i
Sau khi ước lượng được tham số , ta có thể dễ
dàng ước lượng = 0,1
Lưu ý là khi sử dụng thông tin tiên nghiệm để
khắc phục đa cộng tuyến thì xem như thông tin
tiên nghiệm này thích hợp với dữ liệu thực tế,
nhưng có thể dữ liệu này lại không thích hợp.
1β
⌢
2β
⌢
1β
⌢
25
6. Biện pháp khắc phục đa cộng tuyến (tt)
(2). Loại trừ 1 biến giải thích ra khỏi mô hình
- Bước 1: Xem cặp biến giải thích nào có quan hệ
chặt chẽ dựa vào ma trận tương quan (ví dụ X2
và X3)
- Bước 2: Tính R2 đối với các hàm hồi quy: có mặt
cả hai biến; không có mặt 1 trong 2 biến
- Bước 3: Loại biến mà giá trị R2 tính được khi
không có mặt biến đó là lớn hơn
Bỏ bớt biến là cách đơn giản nhất khi chúng ta phải
đối diện với tình trạng đa cộng tuyến nghiêm trọng. 26
6. Biện pháp khắc phục đa cộng tuyến (tt)
(3). Thu thập thêm số liệu hoặc lấy mẫu mới
Vì đa cộng tuyến là một đặc tính của mẫu nên đôi
khi chỉ cần tăng cỡ mẫu cũng có thể làm giảm bớt
vấn đề này
(4). Sử dụng sai phân cấp 1
Ta có mô hình hồi quy sau:
Yt = β1 + β2X2t + β3X3t + Ut (1)
Suy ra: Yt-1 = β1 + β2X2t-1 + β3X3t-1 + Ut-1 (2)
(1)-(2): Yt-Yt-1 = β2(X2t-X2t-1) + β3(X3t-X3t-1) + Ut-Ut-1
Hay: yt = β2x2t + β3x3t + Vt (3)
27
6. Biện pháp khắc phục đa cộng tuyến (tt)
Mô hình hồi quy (3) thường làm giảm tính nghiêm
trọng của đa cộng tuyến vì dù X2 và X3 có thể
tương quan cao nhưng không có lý do tiên
nghiệm nào cho rằng sai phân của chúng cũng
tương quan cao.
Tuy nhiên sử dụng sai phân bậc nhất cũng làm nảy
sinh một số vấn đề như sai số Vt trong mô hình
(3) có thể không thỏa mãn giả thiết của mô hình
hồi quy tuyến tính cổ điển là các nhiễu không
tương quan.
Xem thí dụ trang 143 về cách phát hiện và khắc
phục đa cộng tuyến. 28
6. Biện pháp khắc phục đa cộng tuyến (tt)
Đa cộng tuyến có thật sự xấu?

 Đa cộng tuyến không phải là vấn đề nghiêm
trọng nếu mục đích của phân tích hồi quy chỉ là
dự báo, vì R2 càng cao thì việc dự báo càng
chính xác.

 Tuy nhiên, nếu mục đích của phân tích hồi quy
còn là để ước lượng giá trị tin cậy của các thông
số thì đa cộng tuyến là vấn đề cần xem xét vì sai
số chuẩn của các ước lượng lớn.
29
6. Biện pháp khắc phục đa cộng tuyến (tt)