Analisis Regresi Berganda
Multiple Regression Analysis
Bahan Ajar Analisis Data Multivariat
Tujuan Pembelajaran
• Menentukan kapan analisis regresi sesuai untuk masalah tertentu
• Memahami konsep prediksi menggunakan least squares
• Menggunakan variabel dummy dengan pemahaman interpretasinya
• Mengetahui asumsi yang mendasari analisis regresi
• Memilih teknik estimasi yang tepat
• Menginterpretasikan hasil analisis regresi
• Menerapkan prosedur diagnostik untuk observasi berpengaruh
Apa itu Analisis Regresi Berganda?
Teknik statistik umum untuk menganalisis hubungan antara satu variabel dependen dan beberapa
variabel independen.
Formula Dasar:
Y = b₀ + b₁X₁ + b₂X₂ + ... + bₙXₙ + ε
Tujuan: Memprediksi perubahan variabel dependen (Y) sebagai respons terhadap perubahan variabel independen
(X)
Tujuan Analisis Regresi
Penjelasan
Prediksi
• Memahami hubungan kausal
• Memaksimalkan daya prediksi
• Mengidentifikasi variabel penting
• Menggunakan variabel terbaik untuk prediksi
• Fokus pada interpretasi koefisien
• Fokus pada akurasi prediksi
• Contoh: Faktor yang mempengaruhi kepuasan
• Contoh: Forecasting penjualan
Enam Tahap Analisis Regresi
Tahap 1: Tujuan Regresi Tahap 2: Desain Penelitian
Prediksi vs Penjelasan Variabel & ukuran sampel
Tahap 3: Asumsi Tahap 4: Estimasi Model
Linearitas, normalitas, dll Metode estimasi
Tahap 5: Interpretasi Tahap 6: Validasi
Koefisien & signifikansi Menguji keandalan model
Desain Penelitian
Ukuran Sampel
• Minimum: 20 observasi per variabel independen
• Preferred: 15-20 observasi per variabel untuk generalisasi
• Rasio 5:1 adalah minimum mutlak
Pemilihan Variabel
• Variabel harus memiliki dasar teoritis
• Pertimbangkan multikolinearitas
• Jenis variabel: metrik untuk Y dan X
Asumsi Analisis Regresi
1. Linearitas Hubungan
Hubungan antara X dan Y bersifat linear
2. Homoskedastisitas
Varians error konstan untuk semua nilai X
3. Independensi Error
Error terms tidak berkorelasi satu sama lain
4. Normalitas Error
Error terdistribusi normal dengan mean = 0
Metode Estimasi Model
Simultan (Enter) Bertahap (Stepwise)
• Semua variabel dimasukkan sekaligus • Variabel ditambah/dikurangi bertahap
• Cocok untuk tujuan konfirmatori • Cocok untuk tujuan eksploratori
• Berdasarkan teori kuat • Maksimalkan prediksi
• Interpretasi lebih mudah • Forward, Backward, Stepwise
Evaluasi Model Regresi
R² (Coefficient of Determination)
Proporsi varians Y yang dijelaskan oleh model (0-1). Semakin tinggi, semakin baik.
Adjusted R²
R² yang disesuaikan dengan jumlah variabel dan ukuran sampel
Uji F dan Uji t
F-test: signifikansi model keseluruhan | t-test: signifikansi koefisien individual
Interpretasi Koefisien Regresi
Koefisien Tidak Terstandarisasi (b)
Menunjukkan perubahan Y untuk setiap perubahan 1 unit pada X, dengan X lain konstan. Dalam unit asli variabel.
Beta Koefisien (β)
Koefisien terstandarisasi yang memungkinkan perbandingan langsung kepentingan relatif variabel independen. Nilai |
β| lebih besar = lebih penting.
Multikolinearitas
Kondisi di mana variabel independen sangat berkorelasi satu sama lain
Deteksi:
VIF (Variance Inflation Factor): VIF > 10 bermasalah
Tolerance: Tolerance < 0.10 bermasalah
Correlation Matrix: r > 0.90 indikasi multikolinearitas
Dampak & Solusi:
Koefisien tidak stabil, standard error besar. Solusi: hapus variabel, kombinasi variabel, atau ridge regression
Variabel Dummy
Variabel dikotomis (0 atau 1) untuk memasukkan variabel kategorikal ke dalam model regresi
Aturan Pengkodean:
• Untuk k kategori, buat k-1 variabel dummy
• Satu kategori menjadi reference category (nilai 0 semua)
• Koefisien = perbedaan dari reference category
Contoh: Gender (Male/Female) → 1 dummy: Male=1, Female=0
Koefisien dummy = perbedaan rata-rata Y antara Male dan Female
Observasi Berpengaruh
Outliers:
Observasi dengan residual besar. Deteksi: Standardized residuals > |3|
Leverage Points:
Observasi dengan nilai X ekstrem. Deteksi: Hat values, Mahalanobis distance
Influential Observations:
Kombinasi outlier dan leverage. Deteksi: Cook's D > 1.0
Tindakan: Investigasi penyebab, pertimbangkan transformasi atau hapus jika error data
Validasi Model
Metode Validasi:
Split-sample validation: Bagi data menjadi estimation & holdout sample
Cross-validation: Validasi berulang dengan subset berbeda
PRESS statistic: Validasi dengan menghilangkan satu observasi
Kriteria Validitas:
R² holdout sample harus dekat dengan R² estimation sample. Perbedaan > 10% mengindikasikan overfitting
Diagnostik Residual
1. Plot Residual vs Predicted
Cek homoskedastisitas & linearitas
2. Normal P-P Plot
Cek normalitas residual
3. Histogram Residual
Visualisasi distribusi residual
4. Durbin-Watson Test
Cek autokorelasi (nilai 1.5-2.5 acceptable)
Ringkasan
Kegunaan Regresi:
• Prediksi nilai variabel dependen
• Identifikasi variabel penting
• Pemahaman hubungan kausal
Pertimbangan Kunci:
• Verifikasi asumsi sebelum interpretasi
• Perhatikan multikolinearitas
• Identifikasi observasi berpengaruh
• Validasi model untuk generalisasi
Terima Kasih
Analisis Regresi Berganda
Multiple Regression Analysis