Determination of Bias Parameters for Ridge and Liu Estimator Methods According to Mean Square Error and Variance Inflation Factor Criteria


Kocasoy G. İ., Ebegil M.

16TH INTERNATIONAL SCIENTIFIC RESEARCH CONGRESS, Ankara, Turkey, 11 - 12 March 2023, vol.1, no.1, pp.31-32

  • Publication Type: Conference Paper / Summary Text
  • Volume: 1
  • City: Ankara
  • Country: Turkey
  • Page Numbers: pp.31-32
  • Gazi University Affiliated: Yes

Abstract

 One of the assumptions that should be provided to make parameter estimation with the Ordinary Least Squares (OLS) estimation method in the multiple linear regression model is that there is no relationship between independent variables. If this assumption is violated, the problem of “multicollinearity” arises. In this case, the parameter estimation values obtained from the OLS estimator deviates from the actual value of the parameter. A solution to avoid these negative consequences of multicollinearity is to use biased estimation methods. The most widely used of these estimation methods is the ridge regression estimator. The Liu estimator was then proposed as an alternative to the ridge regression estimator. Liu estimation methods have a single bias parameter. Numerous bias parameters have been proposed for biased estimators in the literature. Therefore, the selection of the optimum bias parameter is an important problem. In this study, in order to determine the optimum bias parameter for Ridge and Liu estimators, 20 popular bias parameters previously proposed in the literature were compared according to the Mean Square Error (MSE) and Variance Inflation Factor (VIF) criteria. For this, a simulation study was conducted using different dependency structures, different number of independent variables, different sample sizes and different standard errors. In the results obtained, it was observed that the parameter estimation values obtained using biased estimation methods had better MSE and VIF values than the parameter estimation values obtained with the OLS estimator. In addition, optimum bias parameter estimation values were determined for Ridge and Liu estimation methods.

 Çoklu doğrusal regresyon modelinde En Küçük Kareler (EKK) tahmin yöntemiyle parametre tahmini yapılabilmesi için sağlanması gereken varsayımlardan biri bağımsız değişkenler arasında ilişki olmamasıdır. Bu varsayımın sağlanmadığı durumda, “çoklu bağlantı” problemi ortaya çıkar. Bu durumda, EKK tahmin edicisinden elde edilen parametre tahmin değerleri, parametrenin gerçek değerinden uzaklaşır. Çoklu bağlantının yarattığı bu olumsuz sonuçlardan kurtulabilmek için bir çözüm yanlı tahmin yöntemlerini kullanmaktır. Bu tahmin yöntemlerinden en yaygın olarak kullanılanı Ridge Regresyon tahmin edicisidir. Daha sonra Ridge Regresyon tahmin edicisine bir alternatif olarak Liu tahmin edicisi önerilmiştir. Bu tahmin yöntemleri tek yanlılık parametresine sahiptirler. Literatürde yanlı tahmin ediciler için çok sayıda yanlılık parametresi önerilmiştir. Bu nedenle optimum yanlılık parametresinin seçimi önemli bir problemdir. Bu çalışmada, Ridge ve Liu tahmin edicileri için optimum yanlılık parametresini belirlemek amacıyla, daha önce literatürde önerilen popüler 20 tane yanlılık parametresi, Ortalama Hata Kare (OHK) ve Varyans Şişirme Faktörü (VIF) kriterlerine göre karşılaştırılmıştır. Bunun için farklı bağımlılık yapıları, farklı bağımsız değişken sayısı, farklı örnek çapları ve farklı standart hatalar kullanılarak simülasyon çalışması yapılmıştır. Elde edilen sonuçlarda yanlı tahmin yöntemleri kullanılarak elde edilen parametre tahmin değerlerinin, EKK tahmin edicisiyle elde edilen parametre tahmin değerlerinden daha iyi OHK ve VIF değerlerine sahip olduğu görülmüştür. Ayrıca Ridge ve Liu tahmin yöntemleri için de optimum yanlılık parametre tahmin değerleri belirlenmiştir.