16TH INTERNATIONAL SCIENTIFIC RESEARCH CONGRESS, Ankara, Turkey, 11 - 12 March 2023, vol.1, no.1, pp.31-32
One of the assumptions that should be provided to make parameter estimation with the
Ordinary Least Squares (OLS) estimation method in the multiple linear regression model is that there is
no relationship between independent variables. If this assumption is violated, the problem of
“multicollinearity” arises. In this case, the parameter estimation values obtained from the OLS estimator
deviates from the actual value of the parameter. A solution to avoid these negative consequences of
multicollinearity is to use biased estimation methods. The most widely used of these estimation methods
is the ridge regression estimator. The Liu estimator was then proposed as an alternative to the ridge
regression estimator. Liu estimation methods have a single bias parameter. Numerous bias parameters
have been proposed for biased estimators in the literature. Therefore, the selection of the optimum bias
parameter is an important problem. In this study, in order to determine the optimum bias parameter for
Ridge and Liu estimators, 20 popular bias parameters previously proposed in the literature were
compared according to the Mean Square Error (MSE) and Variance Inflation Factor (VIF) criteria. For this, a simulation study was conducted using different dependency structures, different number of
independent variables, different sample sizes and different standard errors. In the results obtained, it was
observed that the parameter estimation values obtained using biased estimation methods had better MSE
and VIF values than the parameter estimation values obtained with the OLS estimator. In addition,
optimum bias parameter estimation values were determined for Ridge and Liu estimation methods.
Çoklu doğrusal regresyon modelinde En Küçük Kareler (EKK) tahmin yöntemiyle parametre
tahmini yapılabilmesi için sağlanması gereken varsayımlardan biri bağımsız değişkenler arasında ilişki
olmamasıdır. Bu varsayımın sağlanmadığı durumda, “çoklu bağlantı” problemi ortaya çıkar. Bu
durumda, EKK tahmin edicisinden elde edilen parametre tahmin değerleri, parametrenin gerçek
değerinden uzaklaşır. Çoklu bağlantının yarattığı bu olumsuz sonuçlardan kurtulabilmek için bir çözüm
yanlı tahmin yöntemlerini kullanmaktır. Bu tahmin yöntemlerinden en yaygın olarak kullanılanı Ridge
Regresyon tahmin edicisidir. Daha sonra Ridge Regresyon tahmin edicisine bir alternatif olarak Liu
tahmin edicisi önerilmiştir. Bu tahmin yöntemleri tek yanlılık parametresine sahiptirler. Literatürde
yanlı tahmin ediciler için çok sayıda yanlılık parametresi önerilmiştir. Bu nedenle optimum yanlılık
parametresinin seçimi önemli bir problemdir. Bu çalışmada, Ridge ve Liu tahmin edicileri için optimum
yanlılık parametresini belirlemek amacıyla, daha önce literatürde önerilen popüler 20 tane yanlılık
parametresi, Ortalama Hata Kare (OHK) ve Varyans Şişirme Faktörü (VIF) kriterlerine göre
karşılaştırılmıştır. Bunun için farklı bağımlılık yapıları, farklı bağımsız değişken sayısı, farklı örnek
çapları ve farklı standart hatalar kullanılarak simülasyon çalışması yapılmıştır. Elde edilen sonuçlarda
yanlı tahmin yöntemleri kullanılarak elde edilen parametre tahmin değerlerinin, EKK tahmin edicisiyle
elde edilen parametre tahmin değerlerinden daha iyi OHK ve VIF değerlerine sahip olduğu görülmüştür.
Ayrıca Ridge ve Liu tahmin yöntemleri için de optimum yanlılık parametre tahmin değerleri
belirlenmiştir.