本站原创文章，转载请说明来自《老饼讲解-机器学习》www.bbbdata.com
最小二乘法可在线性方程组没有精确解时,求得最小二乘误差解
本文讲解什么是最小二乘问题、最小二乘问题如何求解以及求解公式的推导过程
通过本文可以快速了解最小二乘法是什么，解决什么问题，以及最小二乘法的推导原理
01. 什么是最小二乘法
本节讲解最小二乘法是什么，以及最小二乘法求解公式
什么是最小二乘法
什么是最小二乘问题现有 的矩阵，与列向量，求一个，使得 在上述问题可解的时候，只需左右两边取A的逆就可得到：而当上述问题不可解时，即不存在这样一个 使得 的时候则选择退而求其次，希望求一个 ，使得 的平方误差和最小 最小二乘问题就是指上述问题， 即求一x使得 Ax 最佳逼近 b最小二乘法-求解公式 最小二乘问题在机器学习上是一个常见的问题，它可由最小二乘公式求得 最小二乘问题的求解公式为： 使用最小二乘公式求解最小二乘问题，则称为最小二乘法，是一个基本方法
03. 最小二乘法的公式推导
本节讲解两种最小二乘法公式的推导方法以及推导过程
通过驻点推导-最小二乘法
最小二乘法的求解公式可以通过求误差函数的驻点来得到 即对总误差函数求偏导，令偏导为0，再联立解出x，推导过程如下：一、最小二乘的误差函数 最小二乘的误差函数为： 二、求误差函数对x的偏导 先求x的单个分量的偏导，如下： 则对x的总偏导为： 三、求x的驻点 令误差函数的偏导为0，则可求得： 即可得到最小二乘法的求解公式：
通过最佳逼近-推导最小二乘法
通过代数中的空间最佳逼近原理也可推导最小二乘法，具体如下：由于是对的最佳逼近，可知向量与构成的空间垂直 如图所示，Ax-b与A构成的空间垂直(即与A的每列的点积为0)，即有： 进一步化简即可得到： 通过驻点求导来推导最小二乘法，虽然推导过程较为复杂，但思路简洁，知识要求起点低而最佳逼近方法，在了解代数基础上，推导最小二乘法基本就是一步到位，随时手推，不必记公式
好了，以上就是最小二乘法的公式与及推导过程了~
End