机器学习-线性模型
线性模型
考虑线性模型很简单，分类嘛，就是找一条线把两类样本分开，那回归呢就是找一条线把样本串起来。
这个公式里w表示的是每个特征对应的权重，b表示偏置。
线性回归
我们先来说线性回归。线性回归要做的就是找到一个方程（如下）
最理想的肯定是完全相等啊，但是由于有over fitting（过拟合）的存在，完全相等未必是件好事。
线性回归擅长处理数值属性，所以我们需要把离散的转化为连续。那要怎么转换呢？我们需要考虑这个属性里面有没有一个序的关系。比如说身高，分高中低，看起来是离散的，但是里面有一个序的关系，所以可以连续化赋值为1,0.5,0。但是对于无序的属性——比如西瓜的颜色，就不能这样简单地赋值。
均方误差最小化--最小二乘法
那线性回归怎么找到最好的方程呢？-- 均方误差最小化。
最小二乘估计简单来说就是求偏导，然后令导数为0，得到权重w和偏置b的值
多元线性回归
举一反三嘛。说完线性回归再来看看多元线性回归。多元线性回归就是x从标量变成了向量
我们可以用矩阵来表示先前的公式（如下）:
同样使用最小二乘法求解，
当有多个解时，需要求助于归纳偏好，或者说引入正则化。
广义线性模型
有时候我们不能简单地用一条直线进行分类和回归，那线性模型就失效了吗？--并不。
广义线性模型的一般形式为
比如令g(·)=ln(·)就能得到对数线性回归
其中g(·)的逆为联系函数。
二分类任务
前面我们已经说了线性回归，那如何用回归模型解分类问题？-- 举例：二分类任务。
线性回归模型产生的是实值输出z，而二分类任务期望的输出为y(取0或1)，因此我们就要去找z和y的联系函数。
理想的单位阶跃函数 -- 对数几率函数
借助广义线性模型的思路
对率回归求解无法用最小二乘法 -- 最小二乘法本质是求梯度为0的点，但是梯度为0的点并不一定为极值点，必须要是凸函数才成立。但是对率回归的目标函数是非凸的，所以在这里采取极大似然法求解。
注：对高阶可导连续凸函数，可以用梯度下降法或牛顿法。
多分类任务
下一篇：经典题目和算法