Matriz Hessiana - Hessian matrix

Parte de una serie de artículos sobre
Cálculo
Teorema fundamental Regla integral de Leibniz Límites de funciones Continuidad Teorema del valor medio Teorema de rolle
Diferencial Definiciones Derivado  ( generalizaciones ) Diferencial infinitesimal de una función total Conceptos Notación de diferenciación Segunda derivada Diferenciación implícita Diferenciación logarítmica Tarifas relacionadas Teorema de Taylor Reglas e identidades Suma Producto Cadena Poder Cociente Regla de L'Hôpital Inverso General Leibniz La fórmula de Faà di Bruno Reynolds
Integral Listas de integrales Transformada integral Definiciones Antiderivada Integral  ( inadecuado ) Integral de Riemann Integración de Lebesgue Integración de contorno Integral de funciones inversas Integración por Partes Discos Carcasas cilíndricas Sustitución  ( trigonométrica , Weierstrass , Euler ) Fórmula de Euler Fracciones parciales Cambio de orden Fórmulas de reducción Diferenciar bajo el signo integral Algoritmo de Risch
Serie Geométrico  ( aritmético-geométrico ) Armónico Alterno Poder Binomio Taylor Pruebas de convergencia Límite de suma (prueba temporal) Proporción Raíz Integral Comparación directa Comparación de límites Serie alternante Condensación de Cauchy Dirichlet Abel
Vector Degradado Divergencia Rizo Laplaciano Derivado direccional Identidades Teoremas Degradado Verduras Stokes ' Divergencia Stokes generalizado
Multivariable Formalismos Matriz Tensor Exterior Geométrico Definiciones Derivada parcial Integral múltiple Integral de línea Integral de superficie Integral de volumen Jacobiano arpillera
Especializado Fraccionario Malliavin Estocástico Variaciones
Diverso Precálculo Historia Glosario Lista de temas Abeja de integración Análisis
v t mi

En matemáticas , la matriz hessiana o hessiana es una matriz cuadrada de derivadas parciales de segundo orden de una función escalar o campo escalar . Describe la curvatura local de una función de muchas variables. La matriz de Hesse fue desarrollada en el siglo XIX por el matemático alemán Ludwig Otto Hesse y más tarde recibió su nombre. Hesse utilizó originalmente el término "determinantes funcionales".

Definiciones y propiedades

Supongamos que es una función que toma como entrada un vector y genera un escalar.Si todas las segundas derivadas parciales de existen y son continuas en el dominio de la función, entonces la matriz hessiana de es una matriz cuadrada , generalmente definida y organizada de la siguiente manera: ${\ Displaystyle f: \ mathbb {R} ^ {n} \ to \ mathbb {R}}$${\ Displaystyle \ mathbf {x} \ in \ mathbb {R} ^ {n}}$${\ Displaystyle f (\ mathbf {x}) \ in \ mathbb {R}.}$${\ Displaystyle f}$${\ Displaystyle \ mathbf {H}}$${\ Displaystyle f}$${\ Displaystyle n \ times n}$

o, estableciendo una ecuación para los coeficientes usando índices i y j,

La matriz de Hesse es una matriz simétrica , ya que la hipótesis de continuidad de las segundas derivadas implica que el orden de diferenciación no importa ( teorema de Schwarz ).

El determinante de la matriz de Hesse se llama determinante de Hesse .

La matriz hessiana de una función es la matriz jacobiana del gradiente de la función ; es decir:${\ Displaystyle f}$${\ Displaystyle f}$${\ Displaystyle \ mathbf {H} (f (\ mathbf {x})) = \ mathbf {J} (\ nabla f (\ mathbf {x})).}$

Aplicaciones

Puntos de inflexión

Si es un polinomio homogéneo en tres variables, la ecuación es la ecuación implícita de una curva proyectiva plana . Los puntos de inflexión de la curva son exactamente los puntos no singulares donde el determinante de Hesse es cero. Se deduce del teorema de Bézout que una curva plana cúbica tiene como máximo puntos de inflexión, ya que el determinante de Hesse es un polinomio de grado${\ Displaystyle f}$${\ Displaystyle f = 0}$${\ Displaystyle 9}$${\ Displaystyle 3.}$

Prueba de segunda derivada

La matriz de Hesse de una función convexa es semidefinida positiva . El refinamiento de esta propiedad nos permite probar si un punto crítico es un máximo local, un mínimo local o un punto de silla, de la siguiente manera: ${\ Displaystyle x}$

Si el hessiano es positivo-definido en entonces alcanza un mínimo local aislado en Si el hessiano es negativo-definido en entonces alcanza un máximo local aislado en Si el hessiano tiene valores propios positivos y negativos , entonces es un punto de silla para De lo contrario, la prueba es poco concluyente. Esto implica que en un mínimo local el hessiano es positivo-semidefinito, y en un máximo local el hessiano es negativo-semidefinito. ${\ Displaystyle x,}$${\ Displaystyle f}$${\ Displaystyle x.}$${\ Displaystyle x,}$${\ Displaystyle f}$${\ Displaystyle x.}$${\ Displaystyle x}$${\ Displaystyle f.}$

Para hessianos positivo-semidefinito y negativo-semidefinito, la prueba no es concluyente (un punto crítico donde el hessiano es semidefinido pero no definido puede ser un extremo local o un punto silla). Sin embargo, se puede decir más desde el punto de vista de la teoría Morse .

La prueba de la segunda derivada para funciones de una y dos variables es más simple que el caso general. En una variable, el hessiano contiene exactamente una segunda derivada; si es positivo, entonces es un mínimo local, y si es negativo, entonces es un máximo local; si es cero, la prueba no es concluyente. En dos variables, el determinante se puede utilizar, debido a que el factor determinante es el producto de los valores propios. Si es positivo, los valores propios son ambos positivos o negativos. Si es negativo, los dos valores propios tienen signos diferentes. Si es cero, entonces la prueba de la segunda derivada no es concluyente. ${\ Displaystyle x}$${\ Displaystyle x}$

De manera equivalente, las condiciones de segundo orden que son suficientes para un mínimo o máximo local se pueden expresar en términos de la secuencia de los principales (arriba a la izquierda) menores (determinantes de submatrices) del hessiano; estas condiciones son un caso especial de las que se dan en la siguiente sección para hessianos con borde para optimización restringida, el caso en el que el número de restricciones es cero. En concreto, la condición suficiente para un mínimo es que todos estos menores principales sean positivos, mientras que la condición suficiente para un máximo es que los menores se alternen de signo, siendo el menor negativo. ${\ Displaystyle 1 \ times 1}$

Puntos críticos

Si el gradiente (el vector de las derivadas parciales) de una función es cero en algún punto, entonces tiene un punto crítico (o punto estacionario ) en El determinante del hessiano en se llama, en algunos contextos, discriminante . Si este determinante es cero, entonces se llama un punto crítico degenerada de o un punto crítico no Morse de lo contrario, es no degenerada, y llamado un punto crítico Morse de${\ Displaystyle f}$${\ Displaystyle \ mathbf {x},}$${\ Displaystyle f}$${\ Displaystyle \ mathbf {x}.}$${\ Displaystyle \ mathbf {x}}$${\ Displaystyle \ mathbf {x}}$${\ Displaystyle f,}$${\ Displaystyle f.}$${\ Displaystyle f.}$

La matriz de Hesse juega un papel importante en la teoría de Morse y la teoría de catástrofes , porque su núcleo y valores propios permiten la clasificación de los puntos críticos.

El determinante de la matriz de Hesse, cuando se evalúa en un punto crítico de una función, es igual a la curvatura gaussiana de la función considerada como una variedad. Los valores propios del hessiano en ese punto son las curvaturas principales de la función, y los vectores propios son las direcciones principales de la curvatura. (Ver Curvatura gaussiana § Relación con las curvaturas principales ).

Usar en optimización

Las matrices hessianas se utilizan en problemas de optimización a gran escala dentro de los métodos de tipo Newton porque son el coeficiente del término cuadrático de una expansión local de Taylor de una función. Es decir,

donde está el gradiente Calcular y almacenar la matriz hessiana completa requiere memoria, lo cual no es factible para funciones de alta dimensión, como las funciones de pérdida de redes neuronales , campos aleatorios condicionales y otros modelos estadísticos con un gran número de parámetros. Para tales situaciones, se han desarrollado algoritmos de Newton truncado y cuasi Newton . La última familia de algoritmos utiliza aproximaciones al hessiano; Uno de los algoritmos cuasi-Newton más populares es BFGS . ${\ Displaystyle \ nabla f}$ ${\ estilo de visualización \ izquierda ({\ frac {\ f parcial} {\ x parcial_ {1}}}, \ ldots, {\ frac {\ f parcial} {\ x parcial_ {n}}} \ derecha).}$${\ Displaystyle \ Theta \ left (n ^ {2} \ right)}$

Tales aproximaciones pueden usar el hecho de que un algoritmo de optimización usa el hessiano solo como un operador lineal y procede al notar primero que el hessiano también aparece en la expansión local del gradiente: ${\ Displaystyle \ mathbf {H} (\ mathbf {v}),}$

$${\ Displaystyle \ nabla f (\ mathbf {x} + \ Delta \ mathbf {x}) = \ nabla f (\ mathbf {x}) + \ mathbf {H} (\ mathbf {x}) \, \ Delta \ mathbf {x} + {\ mathcal {O}} (\ | \ Delta \ mathbf {x} \ | ^ {2})}$$

Dejando algunos escalares esto da ${\ Displaystyle \ Delta \ mathbf {x} = r \ mathbf {v}}$${\ Displaystyle r,}$

$${\ Displaystyle \ mathbf {H} (\ mathbf {x}) \, \ Delta \ mathbf {x} = \ mathbf {H} (\ mathbf {x}) r \ mathbf {v} = r \ mathbf {H} (\ mathbf {x}) \ mathbf {v} = \ nabla f (\ mathbf {x} + r \ mathbf {v}) - \ nabla f (\ mathbf {x}) + {\ mathcal {O}} ( r ^ {2}),}$$

es decir,

$${\ Displaystyle \ mathbf {H} (\ mathbf {x}) \ mathbf {v} = {\ frac {1} {r}} \ left [\ nabla f (\ mathbf {x} + r \ mathbf {v} ) - \ nabla f (\ mathbf {x}) \ right] + {\ mathcal {O}} (r)}$$

por tanto, si el gradiente ya está calculado, el hessiano aproximado puede calcularse mediante un número lineal (en el tamaño del gradiente) de operaciones escalares. (Aunque es fácil de programar, este esquema de aproximación no es estable numéricamente ya que debe hacerse pequeño para evitar errores debido al término, pero al disminuirlo se pierde precisión en el primer término). ${\ Displaystyle r}$${\ Displaystyle {\ mathcal {O}} (r)}$

Otras aplicaciones

La matriz de Hesse se usa comúnmente para expresar operadores de procesamiento de imágenes en el

procesamiento de imágenes y la visión por computadora (consulte el detector de manchas Laplaciano de Gauss (LoG), el determinante del detector de manchas y el espacio de escala de Hesse (DoH) ). La matriz de Hesse también se puede utilizar en análisis de modo normal para calcular las diferentes frecuencias moleculares en espectroscopía infrarroja .

Generalizaciones

Arpillera bordeada

Se utiliza un arpillera con borde para la prueba de la segunda derivada en ciertos problemas de optimización restringida. Dada la función considerada anteriormente, pero agregando una función de restricción tal que el hessiano bordeado sea el hessiano de la

función de Lagrange${\ Displaystyle f}$${\ Displaystyle g}$${\ Displaystyle g (\ mathbf {x}) = c,}$ ${\ Displaystyle \ Lambda (\ mathbf {x}, \ lambda) = f (\ mathbf {x}) + \ lambda [g (\ mathbf {x}) -c]:}$

$${\ Displaystyle \ mathbf {H} (\ Lambda) = {\ begin {bmatrix} {\ dfrac {\ partial ^ {2} \ Lambda} {\ partial \ lambda ^ {2}}} & {\ dfrac {\ partial ^ {2} \ Lambda} {\ parcial \ lambda \ parcial \ mathbf {x}}} \\\ izquierda ({\ dfrac {\ parcial ^ {2} \ Lambda} {\ parcial \ lambda \ parcial \ mathbf {x }}} \ right) ^ {\ mathsf {T}} & {\ dfrac {\ partial ^ {2} \ Lambda} {\ partial \ mathbf {x} ^ {2}}} \ end {bmatrix}} = { \ begin {bmatrix} 0 & {\ dfrac {\ partial g} {\ partial x_ {1}}} & {\ dfrac {\ partial g} {\ partial x_ {2}}} & \ cdots & {\ dfrac {\ g parcial} {\ parcial x_ {n}}} \\ [2.2ex] {\ dfrac {\ g parcial} {\ parcial x_ {1}}} & {\ dfrac {\ parcial ^ {2} \ Lambda} { \ parcial x_ {1} ^ {2}}} y {\ dfrac {\ parcial ^ {2} \ Lambda} {\ parcial x_ {1} \, \ parcial x_ {2}}} y \ cdots & {\ dfrac {\ Particular ^ {2} \ Lambda} {\ Parcial x_ {1} \, \ Parcial x_ {n}}} \\ [2.2ex] {\ dfrac {\ Parcial g} {\ Parcial x_ {2}}} & {\ dfrac {\ parcial ^ {2} \ Lambda} {\ parcial x_ {2} \, \ parcial x_ {1}}} & {\ dfrac {\ parcial ^ {2} \ Lambda} {\ parcial x_ { 2} ^ {2}}} & \ cdots & {\ dfrac {\ parcial ^ {2} \ Lambda} {\ parcial x_ {2} \, \ parcial x_ {n}}} \\ [2.2ex] \ vdots & \ vdots & \ vdo ts & \ ddots & \ vdots \\ [2.2ex] {\ dfrac {\ Partical g} {\ Partical x_ {n}}} & {\ Dfrac {\ Partical ^ {2} \ Lambda} {\ Partical x_ {n } \, \ parciales x_ {1}}} & {\ dfrac {\ parciales ^ {2} \ Lambda} {\ parciales x_ {n} \, \ parciales x_ {2}}} & \ cdots & {\ dfrac { \ Particular ^ {2} \ Lambda} {\ Particular x_ {n} ^ {2}}} \ end {bmatrix}} = {\ begin {bmatrix} 0 & {\ dfrac {\ Partical g} {\ Partical \ mathbf { x}}} \\\ izquierda ({\ dfrac {\ g parcial} {\ parcial \ mathbf {x}}} \ derecha) ^ {\ mathsf {T}} & {\ dfrac {\ parcial ^ {2} \ Lambda} {\ parcial \ mathbf {x} ^ {2}}} \ end {bmatrix}}}$$

Si hay, digamos, restricciones , entonces el cero en la esquina superior izquierda es un bloque de ceros, y hay filas de borde en la parte superior y columnas de borde en la izquierda. ${\ Displaystyle m}$${\ Displaystyle m \ times m}$${\ Displaystyle m}$${\ Displaystyle m}$

Las reglas anteriores que indican que los extremos se caracterizan (entre puntos críticos con un Hessian no singular) por un Hessian definida positiva o negativa-definida no puede aplicarse aquí desde un Hessian confinado ni puede ser negativo-definida ni definida positiva, como si es cualquier vector cuya única entrada distinta de cero sea la primera. ${\ Displaystyle \ mathbf {z} ^ {\ mathsf {T}} \ mathbf {H} \ mathbf {z} = 0}$${\ Displaystyle \ mathbf {z}}$

La prueba de la segunda derivada consiste aquí en restricciones de signo de los determinantes de un cierto conjunto de submatrices de la arpillera bordeada. Intuitivamente, se puede pensar que las restricciones reducen el problema a uno con variables libres. (Por ejemplo, la maximización de sujeto a la restricción se puede reducir a la maximización de sin restricción). ${\ Displaystyle nm}$${\ Displaystyle m}$${\ Displaystyle nm}$${\ Displaystyle f \ left (x_ {1}, x_ {2}, x_ {3} \ right)}$${\ Displaystyle x_ {1} + x_ {2} + x_ {3} = 1}$${\ Displaystyle f \ left (x_ {1}, x_ {2}, 1-x_ {1} -x_ {2} \ right)}$

Específicamente, las condiciones de signo se imponen en la secuencia de los principales menores principales (determinantes de las submatrices justificadas en la parte superior izquierda) de la arpillera delimitada, para la cual se descuidan los primeros menores principales principales, el menor menor que consiste en las primeras filas truncadas y columnas, la siguiente formada por las primeras filas y columnas truncadas , y así sucesivamente, siendo la última toda la arpillera bordeada; si es mayor que entonces el menor principal principal más pequeño es el propio Hessian. Por tanto, hay menores a considerar, cada uno de los evaluados en un punto específico es considerado como

candidato máximo o mínimo . Una condición suficiente para un máximo local es que estos menores alternen en signo con el más pequeño que tenga el signo de Una condición suficiente para un mínimo local es que todos estos menores tengan el signo de (En el caso libre de estas condiciones coincidan con el condiciones para que el hessiano sin fronteras sea definido negativo o definido positivo respectivamente). ${\ Displaystyle 2m}$${\displaystyle 2m+1}$${\ Displaystyle 2m + 2}$${\ Displaystyle 2m + 1}$${\ Displaystyle n + m,}$${\ Displaystyle nm}$${\ displaystyle (-1) ^ {m + 1}.}$${\ Displaystyle (-1) ^ {m}.}$${\ Displaystyle m = 0}$

Funciones con valores vectoriales

Si, en cambio, es un

campo vectorial , es decir, ${\ Displaystyle f}$ ${\ Displaystyle \ mathbf {f}: \ mathbb {R} ^ {n} \ to \ mathbb {R} ^ {m},}$

$${\ Displaystyle \ mathbf {f} (\ mathbf {x}) = \ left (f_ {1} (\ mathbf {x}), f_ {2} (\ mathbf {x}), \ ldots, f_ {m} (\ mathbf {x}) \ derecha),}$$

entonces la colección de segundas derivadas parciales no es una matriz, sino más bien un tensor de tercer orden . Esto se puede considerar como una matriz de matrices hessianas, una para cada componente de : ${\ Displaystyle n \ times n}$${\ Displaystyle m}$${\ Displaystyle \ mathbf {f}}$

$${\ Displaystyle \ mathbf {H} (\ mathbf {f}) = \ left (\ mathbf {H} (f_ {1}), \ mathbf {H} (f_ {2}), \ ldots, \ mathbf {H } (f_ {m}) \ derecha).}$$

Este tensor degenera a la matriz de Hesse habitual cuando ${\ Displaystyle m = 1.}$

Generalización al caso complejo

En el contexto de varias variables complejas , el hessiano puede generalizarse. Suponga y escriba Entonces el hessiano generalizado es Si satisface las condiciones n-dimensionales de

Cauchy-Riemann , entonces la matriz hessiana compleja es idénticamente cero. ${\ Displaystyle f: \ mathbb {C} ^ {n} \ to \ mathbb {C},}$${\ Displaystyle f \ left (z_ {1}, \ ldots, z_ {n} \ right).}$${\ Displaystyle {\ frac {\ parcial ^ {2} f} {\ parcial z_ {i} \ parcial {\ overline {z_ {j}}}}}.}$${\ Displaystyle f}$

Generalizaciones a variedades de Riemann

Sea una

variedad riemanniana y su conexión Levi-Civita . Sea una función suave. Defina el tensor de Hesse por ${\ Displaystyle (M, g)}$${\ Displaystyle \ nabla}$${\ Displaystyle f: M \ to \ mathbb {R}}$

$${\ Displaystyle \ operatorname {Hess} (f) \ in \ Gamma \ left (T ^ {*} M \ otimes T ^ {*} M \ right) \ quad {\ text {by}} \ quad \ operatorname {Hess } (f): = \ nabla \ nabla f = \ nabla df,}$$

donde esto se aprovecha del hecho de que la primera derivada covariante de una función es la misma que su derivada ordinaria. La elección de coordenadas locales da una expresión local para el hessiano como ${\ Displaystyle \ left \ {x ^ {i} \ right \}}$

$${\ Displaystyle \ operatorname {Hess} (f) = \ nabla _ {i} \, \ partial _ {j} f \ dx ^ {i} \! \ otimes \! dx ^ {j} = \ left ({\ frac {\ parcial ^ {2} f} {\ parcial x ^ {i} \ parcial x ^ {j}}} - \ Gamma _ {ij} ^ {k} {\ frac {\ parcial f} {\ parcial x ^ {k}}} \ derecha) dx ^ {i} \ otimes dx ^ {j}}$$

¿Dónde están los símbolos de Christoffel de la conexión? Otras formas equivalentes para el hessiano están dadas por ${\ Displaystyle \ Gamma _ {ij} ^ {k}}$

$${\ Displaystyle \ operatorname {Hess} (f) (X, Y) = \ langle \ nabla _ {X} \ operatorname {grad} f, Y \ rangle \ quad {\ text {y}} \ quad \ operatorname {Hess } (f) (X, Y) = X (Yf) -df (\ nabla _ {X} Y).}$$

Ver también

• El determinante de la matriz de Hesse es una covariante; ver invariante de una forma binaria
• Identidad de polarización , útil para cálculos rápidos que involucran hessianos.
• Matriz jacobiana
• Ecuación de Hesse

Notas

Otras lecturas

• Lewis, David W. (1991). Teoría de matrices . Singapur: World Scientific. ISBN 978-981-02-0689-5.
• Magnus, Jan R .; Neudecker, Heinz (1999). "El Segundo Diferencial". Cálculo diferencial matricial: con aplicaciones en estadística y econometría (edición revisada). Nueva York: Wiley. págs. 99-115. ISBN 0-471-98633-X.

enlaces externos

• "Arpillera de una función" , Enciclopedia de Matemáticas , EMS Press , 2001 [1994]
• Weisstein, Eric W. "Hessian" . MathWorld .