什么是过拟合
训练得到的预测模型对于每个训练数据都非常吻合，导致对于新的测试数据无法正确评估的想象，就是过拟合
下面是线性回归和逻辑回归模型三种训练结果的展示
解决办法
- 收集更多的数据进行训练
- 选择和使用有价值的特性值参与运算
- 减小部分特征值(对于结果预测关系不大的特征值)的参数值（正则化）
正则化
在成本函数或者损失函数中增加正则化参数，避免过拟合
在梯度下降计算过程中，会使得每个参数在原来基础上乘以一个比1小的数据再去进行减法运算，从而使得梯度下降过程中实现参数进一步缩小
cost and gradient functions for both linear and logistic regression. Note:
Cost
The cost functions differ significantly between linear and logistic regression, but adding regularization to the equations is the same.
Gradient
The gradient functions for linear and logistic regression are very similar. They differ only in the implementation of $f_{wb}$.
线性回归正则化
逻辑回归正则化
