Método grupal de manejo de datos - Group method of data handling

El método grupal de manejo de datos (GMDH) es una familia de algoritmos inductivos para el modelado matemático por computadora de conjuntos de datos multiparamétricos que presenta una optimización estructural y paramétrica de modelos completamente automática.

GMDH se utiliza en campos como la minería de datos , el descubrimiento de conocimientos , la predicción , el modelado de sistemas complejos , la optimización y el reconocimiento de patrones . Los algoritmos GMDH se caracterizan por un procedimiento inductivo que realiza la clasificación de modelos polinomiales gradualmente complicados y selecciona la mejor solución mediante el criterio externo .

Un modelo GMDH con múltiples entradas y una salida es un subconjunto de componentes de la función base (1):

donde f i son funciones elementales que dependen de diferentes conjuntos de entradas, a i son coeficientes y m es el número de componentes de la función base.

Para encontrar la mejor solución, los algoritmos GMDH consideran varios subconjuntos de componentes de la función base (1) llamados modelos parciales . Los coeficientes de estos modelos se estiman mediante el método de mínimos cuadrados . Los algoritmos GMDH aumentan gradualmente el número de componentes parciales del modelo y encuentran una estructura de modelo con la complejidad óptima indicada por el valor mínimo de un criterio externo . Este proceso se denomina autoorganización de modelos.

Como la primera función base utilizada en GMDH, fue el polinomio Kolmogorov-Gabor gradualmente complicado (2):

Por lo general, se utilizan modelos parciales más simples con funciones de hasta segundo grado.

Los algoritmos inductivos también se conocen como redes neuronales polinómicas . Jürgen Schmidhuber cita a GMDH como uno de los primeros métodos de aprendizaje profundo , y señala que se utilizó para entrenar redes neuronales de ocho capas ya en 1971.

Historia

Autor de GMDH - Científico soviético Prof. Alexey G. Ivakhnenko.

El método fue creado en 1968 por el profesor Alexey G. Ivakhnenko en el Instituto de Cibernética de Kiev . Este enfoque inductivo desde el principio fue un método basado en computadora, por lo que un conjunto de programas de computadora y algoritmos fueron los principales resultados prácticos logrados en la base de los nuevos principios teóricos. Gracias a la política del autor de compartir código abierto, el método se instaló rápidamente en la gran cantidad de laboratorios científicos en todo el mundo. Como la mayor parte del trabajo rutinario se transfiere a una computadora, se minimiza el impacto de la influencia humana en el resultado objetivo. De hecho, este enfoque puede considerarse como una de las implementaciones de la tesis de la Inteligencia Artificial , que establece que una computadora puede actuar como un poderoso asesor de los humanos.

El desarrollo de GMDH consiste en una síntesis de ideas de diferentes áreas de la ciencia: el concepto cibernético de " caja negra " y el principio de selección genética sucesiva de características por pares , los teoremas de incompletitud de Godel y el principio de Gabor de "libertad de elección de decisiones", la incorrección de Adhémar y el principio de las adiciones externas de Beer .

GMDH es el método original para resolver problemas de identificación estructural-paramétrica de modelos para datos experimentales bajo incertidumbre . Tal problema ocurre en la construcción de un modelo matemático que se aproxima al patrón desconocido del objeto o proceso investigado. Utiliza información sobre él que está implícitamente contenida en los datos. GMDH se diferencia de otros métodos de modelado por la aplicación activa de los siguientes principios : generación automática de modelos, decisiones inconclusas y selección consistente por criterios externos para encontrar modelos de complejidad óptima. Tenía un procedimiento original de múltiples capas para la generación automática de estructuras de modelos, que imita el proceso de selección biológica con la consideración de características sucesivas por pares. Este procedimiento se utiliza actualmente en redes de aprendizaje profundo . Para comparar y elegir modelos óptimos, se utilizan dos o más subconjuntos de una muestra de datos. Esto permite evitar supuestos preliminares, porque la división de la muestra reconoce implícitamente diferentes tipos de incertidumbre durante la construcción automática del modelo óptimo.

Durante el desarrollo se estableció una analogía orgánica entre el problema de construir modelos para datos ruidosos y la señal que pasa por el canal con ruido . Esto hizo posible sentar las bases de la teoría del modelado inmune al ruido. El resultado principal de esta teoría es que la complejidad del modelo predictivo óptimo depende del nivel de incertidumbre en los datos: cuanto mayor sea este nivel (por ejemplo, debido al ruido), más simple debe ser el modelo óptimo (con menos parámetros estimados). Esto inició el desarrollo de la teoría GMDH como un método inductivo de adaptación automática de la complejidad óptima del modelo al nivel de variación de ruido en datos difusos . Por lo tanto, a menudo se considera que GMDH es la tecnología de la información original para la extracción de conocimientos a partir de datos experimentales .

El período 1968-1971 se caracteriza por la aplicación de un único criterio de regularidad para resolver los problemas de identificación, reconocimiento de patrones y pronósticos a corto plazo. Como funciones de referencia se utilizaron polinomios, redes lógicas, conjuntos de Zadeh difusos y fórmulas de probabilidad de Bayes. Los autores se sintieron estimulados por la gran precisión de los pronósticos con el nuevo enfoque. No se investigó la inmunidad al ruido.

Período 1972-1975 . Se resolvió el problema del modelado de datos con ruido y base de información incompleta. Se propuso la selección de criterios múltiples y la utilización de información adicional prioritaria para aumentar la inmunidad al ruido. Los mejores experimentos demostraron que con una definición ampliada del modelo óptimo mediante un criterio adicional, el nivel de ruido puede ser diez veces mayor que la señal. Luego se mejoró utilizando la teoría del teorema de comunicación general de Shannon .

Período 1976-1979 . Se investigó la convergencia de algoritmos GMDH multicapa. Se demostró que algunos algoritmos multicapa tienen un "error multicapa", análogo al error estático de los sistemas de control. En 1977 se propuso una solución de problemas de análisis de sistemas objetivos mediante algoritmos GMDH multicapa. Resultó que la clasificación por conjunto de criterios encuentra el único sistema óptimo de ecuaciones y, por lo tanto, muestra elementos de objeto complejos, sus principales variables de entrada y salida.

Período 1980-1988 . Se recibieron muchos resultados teóricos importantes. Quedó claro que los modelos físicos completos no se pueden utilizar para pronósticos a largo plazo. Se demostró que los modelos no físicos de GMDH son más precisos para la aproximación y el pronóstico que los modelos físicos de análisis de regresión. Se desarrollaron algoritmos de dos niveles que utilizan dos escalas de tiempo diferentes para el modelado.

Desde 1989 se desarrollaron e investigaron los nuevos algoritmos (AC, OCC, PF) para el modelado no paramétrico de objetos difusos y SLP para sistemas expertos. La etapa actual del desarrollo de GMDH puede describirse como el surgimiento de redes neuronales de aprendizaje profundo y algoritmos inductivos paralelos para computadoras multiprocesador.

Criterios externos

El criterio externo es una de las características clave de GMDH. El criterio describe los requisitos del modelo, por ejemplo, la minimización de mínimos cuadrados . Siempre se calcula con una parte separada de la muestra de datos que no se ha utilizado para la estimación de coeficientes. Esto hace posible seleccionar un modelo de complejidad óptima según el nivel de incertidumbre en los datos de entrada. Hay varios criterios populares:

  • Criterio de regularidad (CR): mínimos cuadrados de un modelo en la muestra B.
  • Criterio de sesgo mínimo o consistencia: un error al cuadrado de la diferencia entre las salidas estimadas (o vectores de coeficientes) de dos modelos desarrollados sobre la base de dos muestras distintas A y B, divididas por la salida al cuadrado estimada en la muestra B. Comparación de los modelos que la utilizan , permite obtener modelos consistentes y recuperar una ley física oculta de los datos ruidosos.
  • Criterios de validación cruzada .

Una descripción simple del desarrollo de modelos usando GMDH

Para el modelado con GMDH, solo se preseleccionan el criterio de selección y la complejidad máxima del modelo. Luego, el proceso de diseño comienza desde la primera capa y continúa. El número de capas y neuronas en capas ocultas, la estructura del modelo se determina automáticamente. Se pueden considerar todas las combinaciones posibles de entradas permitidas (todas las neuronas posibles). Luego, los coeficientes polinomiales se determinan utilizando uno de los métodos de minimización disponibles, como la descomposición de valores singulares (con datos de entrenamiento). Luego, se conservan las neuronas que tienen un mejor valor de criterio externo (para los datos de prueba) y se eliminan otras. Si el criterio externo para la mejor neurona de la capa alcanza el mínimo o supera el criterio de detención, se completa el diseño de la red y se introduce la expresión polinomial de la mejor neurona de la última capa como función de predicción matemática; si no, se generará la siguiente capa y este proceso continúa.

Redes neuronales de tipo GMDH

Hay muchas formas diferentes de elegir un orden para la consideración de modelos parciales. El primer orden de consideración utilizado en GMDH y originalmente llamado procedimiento inductivo multicapa es el más popular. Es una clasificación de modelos gradualmente complicados generados a partir de la función base . El mejor modelo está indicado por el mínimo de la característica de criterio externo. El procedimiento multicapa es equivalente a la Red Neural Artificial con función de activación polinomial de neuronas. Por lo tanto, el algoritmo con tal enfoque generalmente se conoce como red neuronal tipo GMDH o red neuronal polinomial. Li demostró que la red neuronal de tipo GMDH funcionaba mejor que los algoritmos de pronóstico clásicos como Single Exponential Smooth, Double Exponential Smooth, ARIMA y red neuronal de retropropagación.

GMDH combinatorio

Figura 1. Una distribución típica de valores mínimos de criterio de regularidad para modelos combinatorios GMDH con diferente complejidad.

Otro enfoque importante para la consideración de modelos parciales que se vuelve cada vez más popular es una búsqueda combinatoria que es limitada o completa. Este enfoque tiene algunas ventajas frente a las redes neuronales polinomiales, pero requiere una potencia computacional considerable y, por lo tanto, no es eficaz para objetos con una gran cantidad de entradas. Un logro importante de Combinatorial GMDH es que supera por completo el enfoque de regresión lineal si el nivel de ruido en los datos de entrada es mayor que cero. Garantiza que se encontrará el modelo más óptimo durante una clasificación exhaustiva.

El algoritmo combinatorio básico realiza los siguientes pasos:

  • Divide la muestra de datos al menos en dos muestras A y B.
  • Genera submuestras a partir de A según modelos parciales con una complejidad en constante aumento.
  • Estima los coeficientes de los modelos parciales en cada capa de complejidad de los modelos.
  • Calcula el valor del criterio externo para los modelos de la muestra B.
  • Elige el mejor modelo (conjunto de modelos) indicado por el valor mínimo del criterio.
  • Para el modelo seleccionado de complejidad óptima, vuelva a calcular los coeficientes en una muestra de datos completa.

A diferencia de las redes neuronales de tipo GMDH, el algoritmo combinatorio generalmente no se detiene en un cierto nivel de complejidad porque un punto de aumento del valor del criterio puede ser simplemente un mínimo local, ver Fig.1.

Algoritmos

  • Combinatorio (COMBI)
  • Iterativo multicapa (MIA)
  • GN
  • Análisis de sistema objetivo (OSA)
  • Armónico
  • Dos niveles (ARIMAD)
  • Multiplicativo-Aditivo (MAA)
  • Clusterización objetiva de computadoras (OCC);
  • Algoritmo de clusterización con el dedo señalador (PF);
  • Complejamiento de análogos (AC)
  • Rediscretización armónica
  • Algoritmo basado en la teoría multicapa de decisiones estadísticas (MTSD)
  • Grupo de evolución de modelos adaptativos (GAME)

Lista de software

Referencias

enlaces externos

Otras lecturas