最小二乘法

统计学上有这样一个概念：

设有观测数据  ，假设变量之间的关系近似满足：

即这些数据对应的点大致分布在这条线附近，便把这条直线叫做回归直线，这个方程叫做回归方程。

(资料图片仅供参考)

问题：常数a，b如何确定呢？

首先想到的是选取这样的a、b，使得  在 处的函数值与统计数据  相差都很小，就是要使偏差

都很小。那么如何达到这一要求呢？可对偏差取绝对值再求和，只要

很小，就可以保证每个偏差的绝对值都很小。但是这个狮子中有绝对值，不便于进一步分析讨论。因此可以考虑选取常数a与b，使

最小来保证每个偏差的绝对值都很小。这种使得误差平方和最小的标准又称为最小二乘准则，而利用这一准则求解参数的方法又称为最小二乘法。

多元函数的极值

可以发现，上面的函数Q(a,b)有两个自变量，这样的函数叫做多元函数。

如果是一个一元函数例如f(x)，要求它的极值，我们很容易想到求导，令，解得 ，此时函数的极值就为。拓展到二元函数，我们也可以用求导的方法。

但问题就来了，这里有两个自变量，这怎么求导，于是我们引入了一个新的概念——偏导数。偏导其实很简单，就是：将b当作参数，a当作自变量求导，就叫做对a求偏导，反之同理。常用符号，例如设

则有

知道了偏导，我们还有一个定理

定理1：设函数在点具有偏导数，且在处有极值，则有

有了这个定理，解决我们最开始的问题就容易多了。

正式推导

（1）多元函数极值法

要求最小值，显然这里的极小值就是最小值，那只需

已知：

由于导数的性质：

那么这里是n个式子求和后的导数，也就等于每个式子的导数之和，所以对上式求偏导

化简得两个方程：一式得：二式得：将代入上式即可达到消元的目的，于是可推出 b 的值：

再由 a,b 的关系式可算出 a。综合上述式子我们将参数的算式汇总：

（2）配方法

我们的数学教材采用的是另一种方法，这个方法不是我们的重点

结论（拉格朗日乘数法）

前面我们介绍了多元函数极值法来求极值，其实这是一种特殊情形（没有两变量间的限制条件），它还可以拓展：当有条件的时候求极值，即拉格朗日乘数法

问题

函数在条件取得的极值及对应的x、y？

结论

若在取得极值，设，则只需解方程组：

解得，则极值就为

如果没有限制条件，即没有，那就是前面我们所用的：

在高考题中，问求最值，99%都是极值点，所以用这个方法求最值基本适用，在常规方法做不出来时用它便能迎刃而解，下面是一道高考真题，看看我们如何用这个方法解决它。

例子

问：已知，则的最小值为_________？

解：

设

解方程组：即

解得，则最小值为

总结

以上便是全部内容，从解释线性回归方程的由来，到拉格朗日乘数法的介绍。如果对你有用的话，别忘了三连支持一下！

知乎同内容文章：https://zhuanlan.zhihu.com/p/601076765