上一节介绍了在多元回归中变量选择的三种方法，但如果b的估计出现伪逆时，也就是奇异性前面的方法可能就不适用，通常有两种情况：1、变量比样本多；2、出现共线性。第二种情况，前面的方法还是适用的，但第一种情况，前面的方法就不适用了，需要给b的估计计算加上惩罚函数。 岭回归(Ridge Regression)就是在出现上述两种情况的处理方法……继续阅读 » 黄业忠 5年前 (2016-11-24) 6305浏览 0评论0个赞
分别使用岭回归和Lasso解决上面回归问题当回归存在多重共线性的时候，可以使用最小二乘，岭回归，Lasso回归, 但当X的秩不存在的时候或变量的数量少于样本的数量是，作为无偏差估计的最小二乘就不适用，岭回归和Lasso回归更合适。过程：1、加载数据做中心化后做线性回归： 可以看到线性回归方程很不显著，存在多重共线性，下面做多……继续阅读 » 黄业忠 5年前 (2016-09-17) 3628浏览 0评论1个赞
