分类回归树(CART,Classification And Regression Tree)也属于一种决策树，这里只介绍CART是怎样用于分类的。分类回归树是一棵二叉树，且每个非叶子节点都有两个孩子，所以对于第一棵子树其叶子节点数比非叶子节点数

1.与简单线性回归区别(simple linear regression) 多个自变量(x)2. 多元回归模型y=β0＋β１x1+β2x2+ … +βpxp+ε其中：β0，β１，β2… βp是参数ε是误差值3. 多元回归方程E(y)=β0＋β１x1+β2x2+ … +βpxp4.

ElasticNet是Lasso和Ridge回归技术的混合体。

它类似于岭回归，Lasso （Least Absolute Shrinkage and Selection Operator）也会惩罚回归系数的绝对值大小。

对于一个回归方程，如果自变量的指数大于1，那么它就是多项式回归方程

逻辑回归是用来计算“事件=Success”和“事件=Failure”的概率。当因变量的类型属于二元（1 / 0，真/假，是/否）变量时，我们就应该使用逻辑回归。

线性回归通常是人们在学习预测模型时首选的技术之一。在这种技术中，因变量是连续的，自变量可以是连续的也可以是离散的，回归线的性质是线性的。

分位数损失函数在我们需要预测结果的取值区间时是一个特别有用的工具。通常情况下我们利用最小二乘回归来预测取值区间主要基于这样的假设：取值残差的方差是常数。

对数双曲余弦是一种比L2更为平滑的损失函数，利用双曲余弦来计算预测误差

Huber损失相比于平方损失来说对于局外点不敏感，但它同样保持了可微的特性。它基于绝对误差但在误差很小的时候变成了平方误差。

平均绝对误差（MAE）也是一种常用的回归损失函数，它是目标值与预测值之差绝对值的和，表示了预测值的平均误差幅度，而不需要考虑误差的方向

均方误差（MSE）是回归损失函数中最常用的误差，它是预测值与目标值之间差值的平方和