Optimalidad y mínimos cuadrados · Definición

Condición necesaria de primer orden

optimización continuaoptimalidad y mínimos cuadrados

Antes de empezar necesitas conocer

Antes de buscar el mínimo de una función, conviene saber qué propiedad debe cumplir ese punto. El gradiente da la respuesta en el caso diferenciable.

Definición

Una condición necesaria de primer orden establece que, si \(x^*\) es un mínimo local de una función diferenciable \(f\), entonces \(\nabla f(x^*)=0\).

\[x^* \text{ mín. local} \Rightarrow \nabla f(x^*) = 0\]

Si \(f:\mathbb{R}^n\to\mathbb{R}\) es diferenciable y \(x^*\) es un mínimo local, para cualquier dirección \(d\) la función \(t\mapsto f(x^*+td)\) tiene un mínimo en \(t=0\), así que su derivada allí es \(\nabla f(x^*)^\top d=0\). Como esto vale para todo \(d\), el gradiente debe ser cero. Este razonamiento es la base de la búsqueda de puntos críticos.

Considere \(f(x,y)=(x-1)^2+(y+2)^2\). Su gradiente es \((2(x-1),\,2(y+2))\), que se anula en \((1,-2)\). Ese punto es el único candidato a mínimo local, y de hecho es el mínimo global, pues \(f\) es convexa.

Un error típico es concluir que todo punto con gradiente nulo es mínimo. La condición es solo necesaria: en \(f(x)=x^3\) el punto \(x=0\) tiene derivada nula pero no es extremo. Para distinguirlo hacen falta condiciones de segundo orden o análisis adicional.

Para pensar

¿Qué pasaría si el gradiente se anula en un punto que no es mínimo local?

Puede ser un máximo o un punto de silla; la condición es solo necesaria, así que hay que comprobar con la hessiana u otro análisis.

Ejercicios 10

  1. ¿Qué debe cumplir el gradiente de una función diferenciable en un mínimo local interior?
  2. Enuncia la condición necesaria de primer orden para un mínimo local de \(f\) en \(x^*\).
  3. ¿Cómo se llama la condición que exige que el gradiente se anule en un mínimo local?
  4. Si \(\nabla f(x^*)\neq 0\), ¿puede \(x^*\) ser mínimo local de \(f\)?
  5. ¿Qué tipo de puntos candidatos señala la condición de primer orden para una función diferenciable sin restricciones?
  6. Resuelve \(\nabla f(x,y)=0\) para \(f(x,y)=(x-2)^2+(y+1)^2\).
  7. Halla el punto crítico de \(f(x,y)=x^2-4x+y^2+6y\).
  8. Para \(f(x,y)=x^2+xy+y^2-3x\), ¿cuál es \(\partial f/\partial x\) evaluada en \((1,1)\)?
  9. Para \(f(x,y)=x^2+xy+y^2-3x\), ¿en qué punto se anula el gradiente?
  10. Halla todos los puntos críticos de \(f(x,y)=x^3-3x+y^2\) y di cuál es un candidato a mínimo local.

Referencias

  • Stephen Boyd, Lieven Vandenberghe, Convex Optimization, 1st edition, Cambridge University Press, 2004.
  • Jorge Nocedal, Stephen J. Wright, Numerical Optimization, 2nd edition, Springer, 2006.