线性回归 & 逻辑回归

线性回归(LR)

概念

一元线性回归、多元线性回归：元代表数据特征的个数，线性代表变量x的次数为1次
优点：实现简单
缺点：不能拟合非线性数据

空间上的表示：对一维数据表现为一条线，对二维数据表现为一个平面
故只能对线性关系的数据进行拟合或最好对线性数据拟合，否则即使对非线性数据拟合出来，结果也会不尽人意

要点

损失函数：均方差
线性回归的代价函数总是为凸函数，故只存在一个最优解

优化函数：梯度下降(bgd、sgd)
通过优化函数来最小化(优化)损失函数

正规方程法(Normal equation)
正规方程法不需要特征缩放
公式：
提示：数据数量m最好大于数据特征n，否则可能会出现矩阵不可逆的情况
正规方程适用于线性回归，而对于其他算法不适合，而梯度下降法则适用的范围比较大
故对于线性回归，当数据的特征比较少时(通常小于10000)，则选用正规方程法会快一点；但当特征值大于10000时，选用梯度下降法会更快点

多项式回归

$\hat{y} = \theta_0 + \theta_1 x^1 + \ … \ + \theta_{n-1} x^{n-1} + \theta_n x^n$
多项式回归能拟合比线性回归更复杂的曲线

参考链接

逻辑回归