El Teorema de la función implicita versión para funciones $f:\mathbb{R}\rightarrow\mathbb{R}$

Teorema 1. Considere la función $y=f(x)$. Sea $(x_{0},y_{0}) \in
\mathbb{R}^{2}$ un punto tal que $F(x_{0},y_{0})=0$. Suponga que la función $F$ tiene derivadas parciales continuas en alguna bola con centro $(x_{0},y_{0})$ y que $\displaystyle \frac{\partial F}{\partial y}(x_{0},y_{0})\neq 0$. Entonces $F(x,y)=0$ se puede resolver para $y$ en términos de $x$ y definir así una función $y=f(x)$ con dominio en una vecindad de $(x_{0},y_{0})$, tal que $y_{0}=f(x_{0})$, lo cual tiene derivadas continuas en $\mathcal{V}$ que pueden calcularse como $y’=f'(x)=-\displaystyle
\frac{\displaystyle \frac{\partial F}{\partial x}(x,y)}{\displaystyle \frac{\partial F}{\partial y}(x,y)}$, $x \in \mathcal{V}$.

Demostración. Como $\displaystyle{\frac{\partial
F}{\partial y}(x_{0},y_{0})\neq 0}$ supongamos sin perdida de generalidad que $\displaystyle{\frac{\partial F}{\partial y}(x_{0},y_{0})> 0}$. Por ser $\displaystyle{\frac{\partial F}{\partial y}}$ continua en una vecindad de $(x_{0},y_{0})$ entonces exite un cuadrado S, centrado en $(x_{0},y_{0})$ totalmente contenido en esa vecindad, en donde $\displaystyle{\frac{\partial F}{\partial y}(x,y)> 0}$ $\forall~x,y\in S$.Sea
$$S=\left\{(x,y)\in\mathbb{R}^{2}~|~|x-x_{0}|<h~y~|y-y_{0}|<k \right\}$$

En todo punto $(x,y)$ que pertenece a $S$, $\displaystyle{\frac{\partial F}{\partial y}(x,y)>0}$. Esto quiere decir que en $S$, $F$ es creciente y fijando $x_{0}$ en $[x_{0}-h,x_{0}+h]$ se tiene que $F$ es creciente en $[y_{0}-k,y_{0}+k]$ y se anula en $y_{0}$, por lo que
$$F(x_{0},y_{0}-k)<0~~yF(x_{0},y_{0}+k)>0$$ Consideremos ahora el par de funciones $F(x,y_{0}-k)$ y $F(x,y_{0}+k)$ definidas en el intervalo $(x_{0}-k,x_{0}+k)$. Donde ambas funciones solo tienen x como variable. La primera función cumple $F(x_{0},y_{0}-k)<0$ y por ser continua en $x_{0}$, es negativa en toda una vecindad $(x_{0}-h_{1}x_{0}+h_{1})$ de $x_{0}$. Análogamente, la segunda función cumple $F(x_{0},y_{0}+k)>0$ y por ser continua en $x_{0}$, es positiva en toda una vecindad $(x_{0}-h_{2}x_{0}+h_{2})$ de $x_{0}$. Sea $h=\min{h_{1},h_{2}}$. Entonces para toda $x$ tal que $|x-x_{0}|~y~F(x,y_{0}+k)>0$ Fijemos $x$ en el intervalo $(x_{0}-h,x_{0}+h)$, y consideremos a $F(x,y)$, sólo como función de $y$, sobre $[y_{0}-k,y_{0}+k]$. Esta función cumple que

$$F(x,y_{0}-k)<0~y~F(x,y_{0}+k)>0$$

por lo tanto según el teorema del valor intermedio, existe un único y en $(y_{0}-k,y_{0}+k)$ tal que $F(x,y)=0$. Así queda establecida la existencia y unicidad de la función $y=f(x)$. Donde además, $y_{0}=f(x_{0})$, y para todo $x\in(x_{0}-h,x_{0}+h)$ $$F(x,f(x))=0,y~~\frac{\partial F}{\partial y}(x_{0},y_{0})\neq 0$$

Vamos a comprobar que la función es continua, para ello se tiene
$$x\in[x_{0}-h,x_{0}+h]~\Rightarrow~|x-x_{0}|<h$$
tomando $h<\delta$ se tiene
$$|x-x_{0}|<\delta$$
esto quiere decir que
$$|y-y_{0}|<k$$ es decir$$|f(x)-f(x_{0})|,\frac{\partial F}{\partial y}(x_{0},y_{0})$$
existen y son continuas entonces $F$ es diferenciable por lo que
$$F(x_{0}+h,y_{0}+k)-F(x_{0},y_{0})=\frac{\partial F}{\partial x}(x_{0},y_{0})h+\frac{\partial F}{\partial y}(x_{0},y_{0})k+R(h,k)$$
Tenemos que $F$ es continua por lo que
$$F(x_{0}+h,y_{0}+k)-F(x_{0},y_{0})=0sih,k\rightarrow 0$$
también
$$R(h,k)\rightarrow 0sih,k\rightarrow 0$$
por lo que
$$\frac{\partial F}{\partial x}(x_{0},y_{0})h+\frac{\partial F}{\partial y}(x_{0},y_{0})k=0$$
esto es
$$\frac{k}{h}=-\frac{\frac{\partial F}{\partial x}(x_{0},y_{0})}{\frac{\partial F}{\partial y}(x_{0},y_{0})}$$
y cuando $h,k\rightarrow 0$ se tiene
$$\frac{dy}{dx}=-\frac{\frac{\partial F}{\partial x}(x_{0},y_{0})}{\frac{\partial F}{\partial y}(x_{0},y_{0})}$$

Importante: Este es un resultado que garantiza la
existencia de una función $y=f(x)$ definida implícitamente por
$F(x,y)=0$. Esto es, puede resolverse para $y$ en términos de $x$,
pero no nos dice como hacer el despeje.

Ejemplo. Considere la función $F(x,y)=e^{2y+x}+\sin(x^{2}+y)-1$ en el punto (0,0) tenemos $F(0,0)=0$. Las derivadas parciales de $F$ son
$F_{x}=e^{2y+x}+2x\cos(x^{2}+y)$
$F_{y}=2e^{2y+x}+\cos(x^{2}+y)$

que son siempre continuas. Además, $\displaystyle \frac{\partial F}{\partial y}(0,0)=3\neq0$ de modo que $\textbf{T.F.Im.}$ garantiza una vecindad de $x=0$ en la cual podemos definir una función $y=f(x)$ tal que $F(x,f(x))=0$. Obsérvese que en este caso no podemos hacer explícita la función $y=f(x)$ sin embargo tal función existe y su derivada es

$y’=f'(x)=\displaystyle -\frac{\displaystyle \frac{\partial F}{\partial x}}{\displaystyle \frac{\partial F}{\partial y}}=\displaystyle \frac{e^{2y+x}+2x\cos(x^{2}+y)}{2e^{2y+x}+\cos(x^{2}+y)}$

Ejemplo. Considere $F(x,y)=x^{4}-e^{xy^{3}-1}$ en el punto (1,1) $F(1,1)=1-1=0$, $F_{x}=4x^{3}-y^{3}e^{xy^{3}-1}$ Por lo tanto, $F_{x}|{(1,1)}=3$, $F{y}=-3xye^{xy^{3}-1}$
Y así, $F_{y}|_{(1,1)}=-3$, y $\displaystyle \frac{\partial F}{\partial y}=-3\neq0$.

El $\textbf{T.F.Im.}$ nos garantiza que en los alrededores de (1,1) el nivel cero de $F$ se ve como la gráfica de la función $y=f(x)$ y que su derivada es $y’=\displaystyle
\frac{-4x^{3}-y^{3}e^{xy^{3}-1}}{-3xy^{2}e^{xy^{3}-1}}$.

Observe que en este caso la función $F$ permite hacer el despeje en términos de $x$.

$F(x,y)=x^{4}-e^{xy^{3}-1}=0$
$x^{4}=e^{xy^{3}-1}$
$\ln (x^{4})=xy^{3}-1$
$\left(\displaystyle \frac{\ln (x^{4})+1}{x}\right)^{\frac{1}{3}}=y=f(x)$ que al derivar se debe de llegar al mismo resultado.

Ejemplo. Considere $F(x,y)=x^{2}-y^{3}-1$ en el punto $(x_{0},y_{0})$ con $y_{0}\neq 0$ tal que $F(x_{0},y_{0})=0$, $F_{x}=2x,~~F_{y}=2y$
Por lo tanto, $F_{x}|{(x{0},y_{0})}=2x_{0}$,
Y así, $F_{y}|{(x{0},y_{0})}=2y_{0}$, y $\displaystyle \frac{\partial F}{\partial y}=2y_{0}\neq0$.
El $\textbf{T.F.Im.}$ nos garantiza que en los alrededores de $(x_{0},y_{0})$ el
nivel cero de $F$ se ve como la gráfica de la función $y=f(x)$ y que su derivada es
$$y'(x)=-\frac{\frac{\partial F}{\partial x}(x_{0},y_{0})}{\frac{\partial F}{\partial y}(x_{0},y_{0})}$$
en este caso
$$y'(x)=-\frac{2x_{0}}{2y_{0}}=-\frac{x_{0}}{y_{0}}$$
si $y_{0}>0$ tal función es $f(x)=\sqrt{1-x^{2}}$ por lo que
$$y’=-\frac{x}{\sqrt{1-x^{2}}}=-\frac{x}{y}$$
si $y_{0}<0$ tal función es $f(x)=-\sqrt{1-x^{2}}$ por lo que
$$y’=-\frac{-x}{-\sqrt{1-x^{2}}}=-\frac{x}{y}$$

El Teorema de la función implicita versión para funciones $f:\mathbb{R}^{2}\rightarrow\mathbb{R}$

Considere la función $F(x,y,z)$. Sea $(x_{0},y_{0},z_{0}) \in \mathbb{R}^{3}$ un punto tal que $F(x_{0},y_{0},z_{0})=0$. Suponga que la función $F$ tiene derivadas parciales $\displaystyle{\frac{\partial F}{\partial x},~\frac{\partial F}{\partial y},~\frac{\partial F}{\partial z}}$ continuas en alguna bola con centro $(x_{0},y_{0},z_{0})$ y que $\displaystyle \frac{\partial F}{\partial z}(x_{0},y_{0},z_{0})\neq 0$.
Entonces $F(x,y,z)=0$ se puede resolver para $z$ en términos de $x,y$ y definir así una función $z=f(x,y)$ con dominio en una vecindad de
$(x_{0},y_{0},z_{0})$, tal que $z_{0}=f(x_{0},y_{0})$, lo cual tiene derivadas continuas
en $\mathcal{V}$ que pueden calcularse como $$\frac{d z}{dx}(x,y)=-\displaystyle
\frac{\displaystyle \frac{\partial F}{\partial x}(x,y)}{\displaystyle \frac{\partial F}{\partial z}(x,y)}~~~\frac{d z}{dy}(x,y)=-\displaystyle \frac{\displaystyle \frac{\partial F}{\partial
y}(x,y)}{\displaystyle \frac{\partial F}{\partial z}(x,y)}$$
$\textbf{Importante:}$ Este es un resultado que garantiza la existencia de una función $z=f(x,y)$ definida implícitamente por $F(x,y,z)=0$. Esto es, puede resolverse para $z$ en términos de $x,y$, pero no nos dice como hacer el despeje.

Demostración. Consideremos el par de funciones
$$F(x,y,z_{0}-\ell)yF(x,y,z_{0}+\ell)$$
definidas para $(x,y)\in[x_{0}-h,x_{0}+h]\times [y_{0}-k,y_{0}+k]$\La primera satisface
$$F(x_{0},y_{0},z_{0}-\ell)<0$$ la segunda cumple $$F(x_{0},y_{0},z_{0}+\ell)>0$$
Fijemos $(x,y)$ en $[x_{0}-h,x_{0}+h]\times [y_{0}-k,y_{0}+k]$ y consideramos $F(x,y,z)$ solo como función de z, sobre $[z_{0}-\ell,z_{0}+\ell]$. Esta función cumple
$$F(x,y,z_{0}-\ell)<0~y~F(x,y,z_{0}+\ell)>0$$
por lo que al aplicar el Teorema del valor intermedio, obteniendose un único z en $(z_{0}-\ell,z_{0}+\ell)$ en donde $F(x,y,z)=0$.Queda así establecida la existencia y unicidad de la función $z=f(x,y)$ con dominio $[x_{0}-h,x_{0}+h]\times [y_{0}-k,y_{0}+k]$ y rango $[z_{0}-\ell,z_{0}+\ell]$ Vamos a probar que dicha f es continua, para ello si
$$\left(\begin{matrix}x\in [x_{0}-h,y_{0}+h] , y\in [y_{0}-k,y_{0}+k] \end{matrix}\right)~\Rightarrow~\left(\begin{matrix}|x-x_{0}|<h\|y-y_{0}|<k\end{matrix}\right)$$
por lo que
$$|(x,y)-(x_{0},y_{0})|<|x-x_{0}|+|y-y_{0}|<h+k$$
si $h<k$
$$|(x,y)-(x_{0},y_{0})|<2k=\delta$$
donde
$$|f(x,y)-f(x_{0},y_{0})|=|z-z_{0}|<\ell=\epsilon$$
por lo tanto $f(x,y)$ es continua.Ahora si suponemos que $\displaystyle{\frac{\partial F}{\partial x},~\frac{\partial F}{\partial y}},~\frac{\partial F}{\partial z}$ son continuas en los alrededores de $(x_{0},y_{0},z_{0})$ en tonces F es diferenciable y se tiene
$$F(x_{0}+h,y_{0},z_{0}+\ell)-F(x_{0},y_{0},z_{0})=\frac{\partial F}{\partial x}(x_{0},y_{0},z_{0})h+\frac{\partial F}{\partial y}(x_{0},y_{0},z_{0})0+\frac{\partial F}{\partial z}(x_{0},y_{0},z_{0})\ell+R(h,k,\ell)$$

De donde
$$F(x_{0}+h,y_{0},z_{0}+\ell)-F(x_{0},y_{0},z_{0})\rightarrow 0$$
$$R(h,k,\ell)\rightarrow 0$$
por lo que
$$\frac{\partial F}{\partial x}(x_{0},y_{0},z_{0})h+\frac{\partial F}{\partial z}(x_{0},y_{0},z_{0})\ell=0$$
$$~\Rightarrow~\frac{h}{\ell}=-\frac{\frac{\partial F}{\partial x}(x_{0},y_{0},z_{0})}{\frac{\partial F}{\partial z}(x_{0},y_{0},z_{0})}$$
y cuando $h,\ell\rightarrow 0$ se tiene
$$\frac{dz}{dx}=-\frac{\frac{\partial F}{\partial x}(x_{0},y_{0},z_{0})}{\frac{\partial F}{\partial z}(x_{0},y_{0},z_{0})}$$
Análogamente
$$F(x_{0},y_{0}+k,z_{0}+\ell)-F(x_{0},y_{0},z_{0})=\frac{\partial F}{\partial x}(x_{0},y_{0},z_{0})0+\frac{\partial F}{\partial y}(x_{0},y_{0},z_{0})k+\frac{\partial F}{\partial z}(x_{0},y_{0},z_{0})\ell+R(h,k,\ell)$$
De donde
$$F(x_{0},y_{0}+k,z_{0}+\ell)-F(x_{0},y_{0},z_{0})\rightarrow 0$$
$$R(h,k,\ell)\rightarrow 0$$
por lo que
$$\frac{\partial F}{\partial y}(x_{0},y_{0},z_{0})k+\frac{\partial F}{\partial z}(x_{0},y_{0},z_{0})\ell=0$$
$$~\Rightarrow~\frac{k}{\ell}=-\frac{\frac{\partial F}{\partial y}(x_{0},y_{0},z_{0})}{\frac{\partial F}{\partial z}(x_{0},y_{0},z_{0})}$$
y cuando $h,\ell\rightarrow 0$ se tiene
$$\frac{dz}{dy}=-\frac{\frac{\partial F}{\partial y}(x_{0},y_{0},z_{0})}{\frac{\partial F}{\partial z}(x_{0},y_{0},z_{0})}$$ $\square$

Introducción

En esta entrada conoceremos más propiedades de los espacios métricos compactos. Veremos qué ocurre cuando les es aplicada una función continua. Esto nos relacionará dos espacios métricos entre sí a través de los subconjuntos. Podremos concluir información acerca de la imagen de una función cuando ciertas condiciones se cumplen. Comencemos con la siguiente:

Proposición: Sean $(X,d_X)$ y $(Y,d_Y)$ espacios métricos. Si $\phi:X \to Y$ es una función continua y $A \subset X$ es compacto, entonces la imagen de $A$ bajo $\phi$, es decir, $\phi(A),$ es un conjunto compacto en $(Y,d_Y).$

Demostración:
Sea $\mathcal{C}= \{A_i: i \in \mathcal{I}\}$ una cubierta abierta de $\phi (A)$. Como $\phi$ es continua entonces la imagen inversa de $A_i,$ es decir, el conjunto $\phi ^{-1}(A_i), i \in \mathcal{I}$ es un conjunto abierto en $X$. No es difícil probar que $\{\phi ^{-1}(A_i):i \in \mathcal{I}\}$ es una cubierta abierta de $A.$ (Ejercicio).

Como $A$ es compacto, entonces existe una subcubierta finita $\{\phi ^{-1}(A_{i_1}),\phi ^{-1}(A_{i_2}),…,\phi ^{-1}(A_{i_m}) \}$ con $m \in \mathbb{N}$ tal que $A \subset \underset{1\leq j \leq m}{\bigcup}\phi ^{-1}(A_{i_j}).$ Esto significa que $\{A_{i_1},A_{i_2},…,A_{i_m}\}$ es una subcubierta en $Y$ de $\mathcal{C}$ para $\phi (A)$. (¿Por qué?) Por lo tanto $\phi (A)$ es compacto.

Ejemplos

La función valor absoluto en un intervalo cerrado

La función $sen(4x)$

La función $e^x$

Es resultado conocido que si $\phi: [0,1] \to \mathbb{R}$ es una función continua, entonces $\phi([0,1])= [a,b]$ donde $a = min \{f(x)|0 \leq x \leq 1 \} \, $ y $ \, b = max \{f(x)|0 \leq x \leq 1 \}.$ (Ver Teorema del máximo-mínimo). En efecto $[a,b]$ es un intervalo cerrado en $\mathbb{R}$ y por tanto es compacto.

Bajo la misma idea podemos considerar a la función $\psi: \mathbb{R} \to \mathbb{R}^2$ dada por $\psi(t)=(t,\phi(t))$. Entonces, la curva de esta función es un conjunto compacto en $\mathbb{R}^2$

En la entrada anterior vimos que un conjunto compacto es cerrado y acotado. Podemos concluir el siguiente:

Corolario: Sea $A$ compacto. Entonces una función continua $\phi:A \subset X \to Y$ es acotada, pues la imagen bajo $\phi$ en el compacto es compacta y, por lo tanto, acotada. También podemos concluir que $\phi(A)$ es cerrada.

Este resultado nos permite delimitar una función en el espacio euclidiano de $\mathbb{R}$ con dos puntos importantes en el contradominio de la función: el máximo y el mínimo.

Probablemente este resultado te sea familiar de los cursos de cálculo:

Proposición: Sea $f:A\subset \mathbb{R}^n \to \mathbb{R}$ una función continua con $A$ cerrado y acotado (y por tanto compacto en $\mathbb{R}^n$). Entonces $f \,$ alcanza su mínimo y máximo en $A.$

En otros espacios métricos puede generalizarse como sigue:

Proposición: Sea $f:A \to \mathbb{R}$ una función continua con $A$ espacio métrico compacto y $\mathbb{R}$ con la métrica usual. Entonces $f$ alcanza su mínimo y máximo en $A$, es decir, existen puntos $x_1$ y $x_2$ en $A$ tales que para toda $x \in A$ se cumple que:
$$f(x_1) \leq x \leq f(x_2)$$

Demostración:
Si $A$ es compacto, la proposición anterior nos muestra que $f(A)$ es cerrado y acotado. Sea $m_0= inf\{f(x):x \in A\}$. Entonces $m_0 \in \overline{f(A)}$ y como $f(A)$ es cerrado, se concluye que $m_0 \in f(A)$, de modo que existe $x_1 \in A$ tal que $f(x_1)=m_0 \, $ por lo tanto $f$ alcanza su mínimo en $A$.

La demostración de que $f$ alcanza su máximo es análoga y se deja como ejercicio.

Proposición: Sean $(X,d_X)$ y $(Y,d_Y)$ espacios métricos con $X$ compacto y $\phi:X \to Y$ inyectiva y continua. Entonces existe la función inversa $\phi^{-1}$ en $\phi(X)$ y es continua en $\phi(X)$.

Demostración:
Para demostrar que $\phi^{-1}:\phi(X) \to X$ es una función continua, basta probar que la imagen inversa de esta función aplicada en conjuntos cerrados en $X$, es un conjunto cerrado en $Y$. Si $A$ es cerrado en $X$ entonces la imagen inversa respecto a la función $\phi^{-1}$ está dada por $\phi(A)$. Como $A$ es cerrado en un compacto entonces es compacto, de modo que $\phi(A)$ también es compacto y, por lo tanto, es cerrado en $Y$. Esto prueba que $\phi^{-1}$ es continua.

Finalizaremos esta entrada presentando un resultado que se deduce del anterior. La solución se propone como ejercicio al lector:

Proposición: Si $\phi:X \to Y$ es una función biyectiva y continua entre espacios métricos compactos, entonces es un homeomorfismo.

Más adelante…

Continuaremos visualizando aplicaciones de funciones continuas sobre conjuntos compactos, pero esta vez bajo una nueva definición: la continuidad uniforme.

Tarea moral

1. Como parte de la prueba de la primera proposición, muestra que en efecto $\{\phi ^{-1}(A_i):i \in \mathcal{I}\}$ es una cubierta abierta de $A$.
2. Argumenta la parte de la demostración de la primera proposición, en la que se afirma que si $A \subset \underset{1\leq j \leq m}{\bigcup}\phi ^{-1}(A_{i_j}),$ entonces $\{A_{i_1},A_{i_2},…,A_{i_m}\}$ es una subcubierta en $Y$ de $\mathcal{C}$ para $\phi (A)$.
3. Prueba que si $f:A \to \mathbb{R}$ es una función continua con $A \subset \mathbb{R}^n$ cerrado y acotado, entonces $f$ alcanza su máximo en $A.$
4. Prueba que si $X$ y $Y$ son homeomorfos, entonces $X$ es compacto si y solo si $Y$ es compacto.
5. Demuestra que si $\phi:X \to Y$ es una función biyectiva y continua entre espacios métricos compactos, entonces es un homeomorfismo.

Enlaces

• Análisis Matemático.
• Enlace a entrada anterior.
• Enlace a entrada siguiente.

El método de los mínimos cuadrados

El método de mínimos cuadrados se aplica para ajustar rectas a una serie de datos presentados como punto en el plano.
Suponagamos que se tienen los siguientes datos para las variables $x$,$y$.

Esta situación se puede presentar en estudios experimentales, donde se estudia la variación de cierta magnitud x en función de otra magnitud y. Teóricamente es de esperarse que la relación entre estas variables sea lineal, del tipo
$$y=mx+b$$
El método de mínimos cuadrados nos proporciona un criterio con el cual podremos obtener la mejor recta que representa a los puntos dados. Se desearía tener
$$y_{i}=mx_{i}+b$$
para todos los puntos $(x_{i},y_{i})$ de $i=1,…,n$. Sin embargo, como en general
$$y_{i}\neq mx_{i}+b$$
se pide que la suma de los cuadrados de las diferencias (las desviaciones)
$$y_{i}-(mx_{i}+b)$$
sea la menor posible.

Se requiere
$$S=(y_{1}-(mx_{1}+b))^{2}+(y_{2}-(mx_{2}+b))^{2}+\cdots+(y_{n}-(mx_{n}+b))^{2}$$
$$=\sum_{i=1}^{n}(y_{i}-(mx_{i}+b))^{2}$$
sea lo más pequeña posible. Los valores de m y b que cumplan con esta propiedad, determinan la recta
$$y=mx+b$$
que mejor representa el comportamiento lineal de los puntos $(x_{i},y_{i})$

Consideremos entonces la función f de las variables m y b dada por
$$f(m,b)=\sum_{i=1}^{n}(y_{i}-(mx_{i}+b))^{2}$$
donde los puntos críticos de esta función se obtienen al resolver el sistema
$$\frac{\partial f}{\partial m}=\sum_{i=1}^{n}2(y_{i}-(mx_{i}+b))(-x_{i})=2\sum_{i=1}^{n}x_{i}(y_{i}-(mx_{i}+b))=0$$
$$\frac{\partial f}{\partial b}=\sum_{i=1}^{n}2(y_{i}-(mx_{i}+b))(-1)=-2\sum_{i=1}^{n}(y_{i}-(mx_{i}+b))=0$$
De la segunda ecuación obtenemos
$$\sum_{i=1}^{n}y_{i}-m\sum_{i=1}^{n}x_{i}-\sum_{i=1}^{n}b=0$$
de donde
$$b=\frac{1}{n}\sum_{i=1}^{n}y_{i}-m\left(\frac{1}{n}\sum_{i=1}^{n}x_{i}\right)$$
Llamemos
$$\overline{x}=\frac{1}{n}\sum_{i=1}^{n}x_{i}$$
$$\overline{y}=\frac{1}{n}\sum_{i=1}^{n}y_{i}$$
que son las medias aritméticas de los valores $x_{i},~y_{i}$ respectivamente. Entonces
$$b=\overline{y}-m\overline{x}$$

sustituyendo en la ecuación
$$\frac{\partial f}{\partial m}=0$$
nos queda
$$\sum_{i=1}^{n}x_{i}(y_{i}-mx_{i}-(\overline{y}-m\overline{x}))=0$$
de donde se obtiene
$$m=\frac{\sum_{i=1}^{n}x_{i}(y_{i}-\overline{y})}{\sum_{i=1}^{n}x_{i}(x_{i}-\overline{x})}$$
En resumen, la función
$$f(m,b)=\sum_{i=1}^{n}(y_{i}-(mx_{i}+b))^{2}$$
tiene un único punto crítico para
$$m=\frac{\sum_{i=1}^{n}x_{i}(y_{i}-\overline{y})}{\sum_{i=1}^{n}x_{i}(x_{i}-\overline{x})},~~~b=\overline{y}-m\overline{x}$$
Ahora vamos a verificar que en dicho punto crítico se alcanza un mínimo local, para lo cual recurrimos a nuestro criterio de la segunda derivada, en este caso
$$\frac{\partial^{2} f}{\partial m^{2}}=-2\sum_{i=1}^{n}-x_{i}^{2}=2\sum_{i=1}^{n}x_{i}^{2}$$
$$\frac{\partial^{2} f}{\partial m \partial b}=-\sum_{i=1}^{n}-x_{i}=2\sum_{i=1}^{n}x_{i}$$
$$\frac{\partial^{2} f}{\partial b^{2}}=-2\sum_{i=1}^{n}(-1)=2n$$

Tenemos que
$$\frac{\partial^{2} f}{\partial m^{2}}>0$$
Por otro lado
$$\left(2\sum_{i=1}^{n}x_{i}\right)^{2}-\left(2\sum_{i=1}^{n}x_{i}^{2}\right)(2n)<0$$
esta desigualdad es equivalente a
$$\left(\sum_{i=1}^{n}x_{i}\right)^{2}<n\sum_{i=1}^{n}x_{i}$$
La cual no es mas que la desigualdad de Cauchy-Schwarz aplicada a los vectores $(1,1,…,1)$ y $(x_{1},x_{2},…,x_{n})$ de $\mathbb{R}^{n}$. Por lo que la función f posee un mínimo local en el punto punto crítico dado.

Ejemplo. Se obtuvieron experimentalmente los siguientes valores de las variables x, y, los cuales se sabe que guardan entre sí una relación lineal

Vamos a encontrar la recta que mejor se ajusta a estos datos, según el método de mínimos cuadrados se tiene
$$\overline{x}=\frac{1+2+3+4}{2}=2.5$$
$$\overline{y}=\frac{1.4+1.1+0.7+0.1}{4}=0.825$$
Aplicando la fórmula obtenida para m y b obtenemos
$$m=\frac{\sum_{i=1}^{n}x_{i}(y_{i}-\overline{y})}{\sum_{i=1}^{n}x_{i}(x_{i}-\overline{x})}=\frac{1(1.4-0.825)+2(1.1-0.825)+3(0.7-0.825)+4(0.1-0.825)}{1(1-2.5)+2(2-2.5)+3(3-2.5)+4(4-2.5)}$$
$$=\frac{-2.15}{5}=-0.43$$
$$b=\overline{y}-m\overline{x}=0.825-(0.43)(2.5)=1.9$$

por lo que la recta que mejor ajusta los datos proporcionados

La suma de las diferencias de la recta y real con la y predicha por la ecuación obtenida es
$$-0.07+0.06+0.09-0.08=0$$
Es decir nuestra recta efectivamente compensa los puntos que quedaron por encima con puntos que quedaron por debajo. Gráficamente esto se ve.

La mejor recta que ajusta los datos del ejemplo.

Introducción

Para entender el método de los multiplicadores de Lagrange ilustraremos las ideas con un ejemplo.

Ejemplo. Sea $f:\mathbb{R}^{2}\rightarrow\mathbb{R}$ dada por
$$f(x,y)=(x+1)^{2}+y^{2}$$
En este caso vamos a encontrar los puntos críticos

$$\nabla f(x,y)=(2(x+1),2y)~\Rightarrow~\nabla f(x,y)=(0,0)~\Leftrightarrow~\begin{matrix}2(x+1)=0\\2y=0\end{matrix}~\Leftrightarrow~\begin{matrix}x=-1\\y=0\end{matrix}$$
por lo tanto el único punto crítico es $(-1,0)$ para ver si es máximo o mínimo nos fijamos que en la función
$$f(x,y)=(x+1)^{2}+y^{2}~\Rightarrow~f(x,y)\geq 0$$
en este caso cuando evaluamos en el punto crítico $(-1,0)$ se tiene
$$f(-1,0)=(-1+1)^{2}+0^{2}=0$$

por lo que podemos decir que el punto $(-1,0)$ es un punto mínimo.

La pregunta ahora es si la función alcanza un valor máximo, para ello debemos restringir el dominio de la función, en este caso al conjunto
$$\left\{(x,y)\in \mathbb{R}^{2}~|~|(x,y)|\leq 2\right\}$$

en la parte roja se calculo que $f$ alcanzaba un valor mínimo en $(-1,0)$ falta ver lo que ocurre en la frontera del conjunto, es decir en la parte azul. Esta parte se puede parametrizar.

donde $\alpha:[0,2\pi]\rightarrow\mathbb{R}^{2}$
Podemos entonces definir la función $g(t)=f\circ \alpha~(t)$ en este caso
$$g(t)=f\circ \alpha (t)=f(\alpha (t))$$
$$=f(2\cos~t,2 sen~t)$$
$$=(2\cos~t+1)^{2}+4 sen^{2}~t$$
$$=4\cos~t+5$$
lo que haremos ahora es encontrar los valores máximos y mínimos sobre g, en este caso

$$g'(t)=-4 sen t$$
por lo que
$$g'(t)=0~\Leftrightarrow~-4 sen t=0~\Leftrightarrow~t=0,~t=\pi,~t=2\pi$$
evaluando en g se tiene

$$g(0)=4\cos^{2}(0)+5$$
$$=9$$
$$g(\pi)=4\cos\pi+5$$
$$=1$$
$$g(2\pi)=4\cos^{2}(2\pi)+5$$
$$=9$$
se tiene entonces que el máximo valor se alcanza en $t=0$, $t=2\pi$ y el mínimo valor se alcanza en $t=\pi$
Ahora sobre la frontera se tiene

$$\alpha(0)=(2\cos~0,2 sen~0)=(2,0)$$
$$\alpha(\pi)=(2\cos\pi, sen\pi)=(-2,0)$$
$$\alpha(2\pi)=(2\cos~2\pi, sen~2\pi)=(2,0)$$
por lo tanto tenenmos que el valor mínimo de f sobre el conjunto es 1 y que este valor se alcanza en $(-2,0)$

y su valor máximo sobre el conjunto es 9 y que este valor se alcanza en $(-2,0)$.\Por lo tanto comparando los valores de f en los puntos críticos que estan en el interior del conjunto
$$\left\{(x,y)\in\mathbb{R}^{2}~|~||(x,y)||=2\right\}$$
junto con los valores en la frontera de dicho conjunto, concluimos que f alcanza sus valores máximo y mínimo en los puntos $(-1,0)$ y $(2,0)$

El conjunto
$$\left\{(x,y)\in \mathbb{R}^{2}~|~||(x,y)||\leq 2\right\}$$
se puede considerarse como el conjunto de nivel de una función $g:\mathbb{R}^{2}\rightarrow\mathbb{R}$ en el caso de nuestro ejemplo la función g es
$$g(x,y)=x^{2}+y^{2}$$
Vamos a considerar los conjuntos de nivel de la función
$$f(x,y)=(x+1)^{2}+y^{2}$$
para $c=1$ y $c=9$ (que son los valores extremos que alcanzo f sobre el nivel 4 de g)

Observamos que estos conjuntos de nivel $N_{1}(f)$ y $N_{9}(f)$ se intersectan tangencialmente con $N_{4}(g)$ en los puntos $(-2,0)$ y $(2,0)$ que son justo los puntos en donde f alcanza sus valores extremos sobre la frontera del conjunto.Recordando que el gradiente de una función en un punto $x_{0}$ es ortogonal al conjunto de nivel que contiene a este punto, concluimos que los vectores
$$\nabla f(-2,0), \nabla g(-2,0)$$

deben de ser paralelos y lo mismo para

$$\nabla f(2,0),~\nabla g(2,0)$$
vamos averificar
$$\left(\begin{matrix}\nabla f(-2,0)=(-2,0)\\ \nabla g(-2,0)=(-4,0)\end{matrix}\right)~\Rightarrow~\nabla f(-2,0)=\frac{1}{2}\nabla g(-2,0)$$
$$\left(\begin{matrix}\nabla f(2,0)=(6,0)\\ \nabla g(2,0)=(4,0)\end{matrix}\right)~\Rightarrow~\nabla f(2,0)=\frac{3}{2}\nabla g(2,0)$$

Conjeturamos lo siguiente:
Si tenemos una función $f$ para la cual queremos calcular sus valores extremos sobre un conjunto de nivel de una función $g$ y localizar los puntos de este conjunto en los cuales alcanza estos valores extremos, es suficiente con encontrar los puntos $\hat{x}\in N_{c}(g)$ en los cuales se satisface que

$$\nabla f(\hat{x})=\lambda\nabla g(\hat{x})$$

Teorema 1. Método de los multiplicadores de lagrange.

Sean $f:u\subset \mathbb{R}^n\rightarrow \mathbb{R}$ y $g: u\subset \mathbb{R}^n\rightarrow \mathbb{R}$ funciones $C^1$ con valores reales dados. Sean $x_0 \in u$ y $g(x_0)=c$, y sea $S$ el conjunto de nivel de $g$ con valor $c$. Suponer $\nabla g(x_0)\neq 0$. Si $f|_s$ (f restringida a s) tiene un máximo o un mínimo local en $S$, en $x_0$, entonces existe un número real $\lambda$ tal que $\nabla f(x_0)=\lambda\nabla g(x_0)$.

Demostración. Para $n=3$ el espacio tangente o plano tangente de $S$ en $x_0$ es el
espacio ortogonal a $\nabla g(x_0)$ y para $n$ arbitraria podemos dar la misma definición de espacio tangente de $S$ en $x_0$. Esta definición se puede motivar al considerar tangentes a trayectorias $c(t)$ que estan en $s$, como sigue: si $c(t)$ es una trayectoria en $S$ y $c(0)=x_0$, entonces $c'(0)$ es un vector tangente a $S$ en $x_0$, pero
$$\frac{dg(c(t))}{dt}=\frac{d}{dt}(c)=0$$
Por otro lado usando regla de la cadena
$$\left.\frac{d}{dt}g(c(t))\right|{t=0}=\nabla g(x_0)\cdot c'(0)$$

de manera que $\nabla g(x_0)\cdot c'(0)=0$, esto es, $c'(0)$ es ortogonal a $\nabla g(x_0)$. Si $f|_s$ tiene un máximo en $x_0$, entonces $f(c(t))$ tiene un máximo en $t=0$. Por cálculo de una variable, $\displaystyle\left.\frac{df(c(t))}{dt}\right|{t=0}=0$. Entonces por regla de la cadena

$$0=\displaystyle\left.\frac{df(c(t))}{dt}\right|_{t=0}=\nabla f(x_0)\cdot c'(0)$$
Asi, $\nabla f(x_0)$ es perpendicular a la tangente de toda curva en $S$ y entonces tambien es perpendicular al espacio tangente completo de $S$ en $x_0$. Como el espacio perpendicular a este espacio tangente es una recta, $\nabla f(x_0)$ y $\nabla g(x_0)$ son paralelos. Como $\nabla g(x_0)\neq 0$, se deduce que $\nabla f(x_0)$ es multiplo de $\nabla g(x_0)$. $\square$

Ejemplo. Use el método de los multiplicadores de Lagrange para encontrar los valores extremos de la función $f:\mathbb{R}^{2}\rightarrow\mathbb{R}$ dada por
$$f(x,y)=2x+3y$$ sobre la restricción
$$x^{2}+y^{2}=4$$

Solución. En este caso la restricción la vemos como el conjunto de nivel cero de la función
$$g(x,y)=x^{2}+y^{2}-4$$
y tenemos entonces que
$$\left(\begin{matrix}\nabla f=(2,3)\\ \nabla g=(2x,2y)\end{matrix}\right)~\Rightarrow~(2,3)=\lambda (2x,2y)$$
tenemos el sistema

$$\left(\begin{matrix}2=2 \lambda x\\ 3= \lambda 2y \end{matrix}\right)~\Rightarrow~\left(\begin{matrix}\lambda=\frac{1}{x}\\ \lambda =\frac{3}{2}y \end{matrix}\right)~\Rightarrow~\frac{1}{x}=\frac{3}{2}y~\Rightarrow~y=\frac{3}{2}x$$
dicho valor se sustituye en la restricción

$$x^{2}+\left(\frac{3}{2}x\right)^{2}=4~\Rightarrow~x^{2}+\frac{9}{4}x^{2}=4~\Rightarrow~\frac{13}{4}x^{2}=4~\Rightarrow~13x^{2}=16~\Rightarrow~x^{2}=\frac{16}{13}~\Rightarrow~|x|=\frac{4}{\sqrt{13}}$$
por lo que
$$\left(\begin{matrix}y=\frac{3}{2}(\frac{4}{\sqrt{13}})=\frac{6}{\sqrt{13}}\\y=-\frac{3}{2}(\frac{4}{\sqrt{13}})=-\frac{6}{\sqrt{13}} \end{matrix}\right)$$
evaluando en nuestra función

El método de Lagrange se puede utilizar cuando hay más de una ecuación de restricción, pero se debe añadir otro multiplicador por cada restricción adicional. Si se requiere hallar los valores extremos de $f(x,y,z)$ sujetos a las restricciones $g(x,y,z)=0$ y $h(x,y,z)=0$ entonces la condición de Lagrange es
$$\nabla f=\lambda\nabla g+\mu \nabla h$$
sujeto a
$$g(x,y,z)=0$$
$$h(x,y,z)=0$$

Ejemplo. La intersección del plano
$$x+\frac{1}{2}y+\frac{1}{3}z=0$$
con la esfera
$$x^{2}+y^{2}+z^{2}=1$$ es un circulo. Halle el punto sobre este círculo con coordenada $x$ máxima
$\small{Solución}$ Se requiere maximizar la función
$$f(x,y,z)=x$$
sujeta a
$$x+\frac{1}{2}y+\frac{1}{3}z=0,~~~x^{2}+y^{2}+z^{2}=1$$
tenemos entonces
$$\left(\begin{matrix}\nabla f=(1,0,0)\\ \nabla g=\left(1,\frac{1}{2},\frac{1}{3} \right)\\ \nabla h=\left(2x,2y,2z \right) \end{matrix}\right)~\Rightarrow~(1,0,0)=\lambda \left(1,\frac{1}{2},\frac{1}{3} \right)+\mu (2x,2y,2z)$$

es decir
$$\begin{matrix}\lambda+\mu 2x=1\\ \frac{1}{2}\lambda+\mu 2y=0\\ \frac{1}{3}\lambda+\mu 2z=0 \end{matrix}~\Rightarrow~\begin{matrix}\mu=\frac{1-\lambda}{2x}\\ \lambda=-4\mu y\\ \lambda=-6\mu z\end{matrix}$$
las dos últimas nos llevan a
$$-4\mu y=-6\mu z~\Rightarrow~y=\frac{3}{2}z$$
este valor se sustituye en la primer restricción (plano)
$$x+\frac{1}{2}\left(\frac{3}{2}z\right)+\frac{1}{3}z=0~\Rightarrow~x=-\frac{13}{12}z$$
ambos valores se sustituyen en la segunda restricción (esfera)

$$\left(-\frac{13}{12}z\right)^{2}+\left(\frac{3}{2}z\right)^{2}+z^{2}=1~\Rightarrow~z=\pm\frac{12}{7\sqrt{13}}$$
por lo que los valores de $x,y$ son
$$x=\pm\frac{\sqrt{13}}{7}$$
$$y=\pm\frac{18}{7\sqrt{13}}$$
Tenemos entonces los puntos
$$P=\left(-\frac{\sqrt{13}}{7},\frac{18}{7\sqrt{13}},\frac{12}{7\sqrt{13}}\right),~~Q=\left(\frac{\sqrt{13}}{7},-\frac{18}{7\sqrt{13}},-\frac{12}{7\sqrt{13}}\right)$$
donde $Q$ es el punto con mayor coordenada $x$.