回归模型有哪些

发布时间：2025-09-21 06:06:04 阅读量： 0 来源： 互联网转载

回归模型有：1.线性回归2. 逻辑回归3. 多项式回归4.逐步回归5.岭回归6.套索回归7.弹性回归

线性回归是最为人熟知的建模技术，是人们学习如何预测模型时的首选之一。在此技术中，因变量是连续的，自变量可以是连续的也可以是离散的。回归的本质是线性的。

线性回归通过使用**的拟合直线（又被称为回归线），建立因变量（Y）和一个或多个自变量（X）之间的关系。

它的表达式为：Y=a+b*X+e，其中 a 为直线截距，b 为直线斜率，e 为误差项。如果给出了自变量 X，就能通过这个线性回归表达式计算出预测值，即因变量 Y。

逻辑回归用来计算事件成功（Success）或者失败（Failure）的概率。当因变量是二进制（0/1，True/False，Yes/No）时，应该使用逻辑回归。这里，Y 的取值范围为 [0,1]，它可以由下列等式来表示。

对应一个回归方程，如果自变量的指数大于 1，则它就是多项式回归方程，如下所示：

当我们处理多个独立变量时，就使用逐步回归。在这种技术中，独立变量的选择是借助于自动过程来完成的，不涉及人工干预。

逐步回归的做法是观察统计值，例如 R-square、t-stats、AIC 指标来辨别重要的变量。基于特定标准，通过增加/删除协变量来逐步拟合回归模型。

岭回归是当数据遭受多重共线性（独立变量高度相关）时使用的一种技术。在多重共线性中，即使最小二乘估计（OLS）是无偏差的，但是方差很大，使得观察智远离真实值。岭回归通过给回归估计中增加额外的偏差度，能够有效减少方差。

类似于岭回归，套索（Least Absolute Shrinkage and Selection Operator）回归惩罚的是回归系数的绝对值。此外，它能够减少变异性和提高线性回归模型的准确性。

套索回归不同于岭回归，惩罚函数它使用的是系数的绝对值之和，而不是平方。这导致惩罚项（或等价于约束估计的绝对值之和），使得一些回归系数估计恰好为零。施加的惩罚越大，估计就越接近零。实现从 n 个变量中进行选择。

弹性回归是岭回归和套索回归的混合技术，它同时使用 L2 和 L1 正则化。当有多个相关的特征时，弹性网络是有用的。套索回归很可能随机选择其中一个，而弹性回归很可能都会选择。

热门文章