Optimize Program

最小二乘法 OLS (https://zhuanlan.zhihu.com/p/38128785)

Define 1.要求函数$f$ 在$g$ 约束下的极值这种问题 $$ minmax\quad f(x)\ s.t.(subject\space to)\space g_i(x)=0 $$

拉格朗日数乘法求极值

Example 1 $已知x>0,y>0, x+2y+2xy = 8, 求x+2y最小值$

等同于求$L(x) = x+2y+\lambda(x+2y+2xy-8)$的最小值(无论$\lambda$取何值，后面部分都是0)，由极值条件有：

$$ \begin{cases} L’_x=1+λ+2λ y = 0 \\ L’_y=2+2λ +2λ x = 0 \\ L’_λ= x+2y+2xy-8 = 0 \end{cases} \Rightarrow \begin{cases} x=2\\ y=1 \end{cases}\\ \therefore min(L(x)) = 4 $$