要解决的问题
在工程应用中，我们经常会用一组观测数据去估计模型的参数，模型是我们根据先验知识定下的。
比如我们有一组观测数据(xi，yi）（一维），通过一些数据分析我们猜测y和x之间存在线性关系，那么我们的模型就可以定为：f(x）=kx 十b
这个模型只有两个参数，所以理论上，我们只需要观测两组数据建立两个方程，即可解出两个未知数。类似的，假如模型有n个参数，我们只需要观测n组数据就可求出参数，换句话说，在这种情况下，
模型的参数是唯一确定解。但是在实际应用中，由于我们的观测会存在误差（偶然误差、系统误差等），所以我们总会做多余观测。比如在上述例子中，尽管只有两个参数，但是我们可能会观测n组数据(x1，y1)..,(xn，yn），这会导致我们无法找到一条直线经过所有的点，也就是说，方程无确定解。
于是这就是我们要解决的问题：虽然没有确定解，但是我们能不能求出近似解，使得模型能在各个观测点上达到“最佳"拟合。那么“最佳”的准则是什么？可以是所有观测点到直线的距离和最小，也可以是所有观测点到直线的误差（真实值-理论值）绝对值和最小，也可以是其它，如果是你面临这个问题你会怎么做?
勒让德就认为让“误差的平方和最小"估计出来的模型是最接近真实情形的。
yi为观测值 ， f(X)为理论值。
这个目标函数取得最小值时的函数参数，这就是最小二乘法的思想，所谓"二乘"就是平方的意思。从这里我们可以看到，最小二乘法其实就是用来做函数拟合的一种思想。
至于怎么求出具体的参数那就是另外一个问题了，理论上可以用导数法、几何法，工程上可以用梯度下降法。