基于均方误差最小化来进行模型求解称为最小二乘法(leastsquaremethod),线性回归中,最小二乘发就是试图找到一条直线,使得所有样本到直线的欧式距离之和最小。
大家把上式写成矩阵的形式:w∗=argmin(y−Xw)T(y−Xw)这里大家把b融合到w中,X中最后再加一列1。为了求最小值,大家对w求导并令其为0:2XT(Xw−y)=0当XTX为满秩矩阵(full-rankmatrix)时是可逆的。
此时:w=(XTX)−1XTy令xi=(xi,1),可以得到线性回归模型:f(xi)=xTi(XTX)−1XTy