Remuestreo (estadísticas) - Resampling (statistics)

En estadística , el remuestreo es cualquiera de una variedad de métodos para realizar uno de los siguientes:

  1. Estimar la precisión de las estadísticas de la muestra ( medianas , varianzas , percentiles ) mediante el uso de subconjuntos de datos disponibles ( jackknifing ) o dibujando al azar con reemplazo de un conjunto de puntos de datos ( bootstrapping )
  2. Las pruebas de permutación (también pruebas de re-aleatorización) son pruebas exactas : Intercambio de etiquetas en puntos de datos al realizar pruebas de significancia.
  3. Validación de modelos mediante el uso de subconjuntos aleatorios (bootstrapping, validación cruzada )

Oreja

El mejor ejemplo del principio de complemento, el método bootstrapping.

Bootstrapping es un método estadístico para estimar la distribución muestral de un estimador mediante muestreo con reemplazo de la muestra original, generalmente con el propósito de derivar estimaciones robustas de errores estándar e intervalos de confianza de un parámetro de población como media , mediana , proporción , probabilidades. ratio , coeficiente de correlación o coeficiente de regresión . Se le ha denominado principio de complemento , ya que es el método de estimación de los funcionales de una distribución de población mediante la evaluación de los mismos funcionales en la distribución empírica basada en una muestra.

Por ejemplo, al estimar la media poblacional , este método utiliza la media muestral ; para estimar la mediana de la población , utiliza la mediana de la muestra; para estimar la línea de regresión de la población , utiliza la línea de regresión de muestra.

También se puede utilizar para construir pruebas de hipótesis. A menudo se utiliza como una alternativa robusta a la inferencia basada en supuestos paramétricos cuando esos supuestos están en duda, o cuando la inferencia paramétrica es imposible o requiere fórmulas muy complicadas para el cálculo de errores estándar. Las técnicas de bootstrapping también se utilizan en las transiciones de selección de actualización de filtros de partículas , algoritmos de tipo genético y métodos de Monte Carlo de remuestreo / reconfiguración relacionados utilizados en física computacional . En este contexto, el bootstrap se utiliza para reemplazar medidas de probabilidad ponderadas empíricas secuencialmente por medidas empíricas . El bootstrap permite reemplazar las muestras con pesos bajos por copias de las muestras con pesos altos.

Navaja

Jackknifing, que es similar al bootstrapping, se usa en inferencia estadística para estimar el sesgo y el error estándar (varianza) de una estadística, cuando se usa una muestra aleatoria de observaciones para calcularla. Históricamente, este método precedió a la invención del bootstrap con Quenouille inventó este método en 1949 y Tukey lo extendió en 1958. Este método fue presagiado por Mahalanobis quien en 1946 sugirió estimaciones repetidas de la estadística de interés con la mitad de la muestra elegida al azar. Él acuñó el nombre de "muestras interpenetrantes" para este método.

Quenouille inventó este método con la intención de reducir el sesgo de la estimación de la muestra. Tukey amplió este método asumiendo que si las réplicas pudieran considerarse distribuidas de manera idéntica e independiente, entonces se podría hacer una estimación de la varianza del parámetro muestral y que se distribuiría aproximadamente como una variación con n −1 grados de libertad ( n siendo el tamaño de la muestra).

La idea básica detrás del estimador de varianza jackknife radica en volver a calcular sistemáticamente la estimación estadística, omitiendo una o más observaciones a la vez del conjunto de muestra. A partir de este nuevo conjunto de réplicas de la estadística, se puede calcular una estimación del sesgo y una estimación de la varianza de la estadística.

En lugar de usar la navaja para estimar la varianza, se puede aplicar al logaritmo de la varianza. Esta transformación puede resultar en mejores estimaciones, particularmente cuando la distribución de la varianza en sí misma puede no ser normal.

Para muchos parámetros estadísticos, la estimación de la varianza en forma de navaja tiende asintóticamente al valor verdadero casi con seguridad. En términos técnicos, se dice que la estimación de la navaja es consistente . La navaja es consistente para las medias muestrales , varianzas muestrales , estadísticos t centrales y no centrales (con poblaciones posiblemente no normales), coeficiente de variación muestral , estimadores de máxima verosimilitud , estimadores de mínimos cuadrados, coeficientes de correlación y coeficientes de regresión .

No es consistente para la mediana de la muestra . En el caso de una variante unimodal, la relación entre la varianza de la navaja y la varianza de la muestra tiende a distribuirse como la mitad del cuadrado de una distribución de chi cuadrado con dos grados de libertad .

El jackknife, como el bootstrap original, depende de la independencia de los datos. Se han propuesto extensiones de la navaja para permitir la dependencia de los datos.

Otra extensión es el método de eliminación de un grupo utilizado en asociación con el muestreo de Poisson .

Jackknife es equivalente a la validación cruzada aleatoria (submuestreo) de dejar uno fuera que se analiza a continuación, solo difiere en el objetivo.

Comparación de bootstrap y jackknife

Ambos métodos, el bootstrap y el jackknife, estiman la variabilidad de una estadística a partir de la variabilidad de esa estadística entre submuestras, en lugar de suposiciones paramétricas. Para la navaja más general, la navaja de observaciones de delete-m, el bootstrap puede verse como una aproximación aleatoria de la misma. Ambos producen resultados numéricos similares, por lo que cada uno puede verse como una aproximación al otro. Aunque existen enormes diferencias teóricas en sus conocimientos matemáticos, la principal diferencia práctica para los usuarios de estadísticas es que el bootstrap da resultados diferentes cuando se repite en los mismos datos, mientras que el jackknife da exactamente el mismo resultado cada vez. Debido a esto, la navaja es popular cuando las estimaciones deben verificarse varias veces antes de su publicación (por ejemplo, agencias de estadísticas oficiales). Por otro lado, cuando esta característica de verificación no es crucial y es de interés no tener un número sino solo una idea de su distribución, se prefiere el bootstrap (por ejemplo, estudios en física, economía, ciencias biológicas).

El uso de bootstrap o jackknife puede depender más de los aspectos operativos que de las preocupaciones estadísticas de una encuesta. La navaja, originalmente utilizada para la reducción de sesgos, es un método más especializado y solo estima la varianza del estimador puntual. Esto puede ser suficiente para la inferencia estadística básica (por ejemplo, prueba de hipótesis, intervalos de confianza). El bootstrap, por otro lado, primero estima la distribución completa (del estimador puntual) y luego calcula la varianza a partir de eso. Si bien es potente y fácil, esto puede volverse muy intensivo desde el punto de vista informático.

"El bootstrap se puede aplicar tanto a problemas de estimación de varianza como de distribución. Sin embargo, el estimador de varianza de bootstrap no es tan bueno como el estimador de varianza de jackknife o de replicación repetida balanceada (BRR) en términos de los resultados empíricos. Además, el estimador de varianza de bootstrap generalmente requiere más cálculos que el jackknife o el BRR. Por lo tanto, el bootstrap se recomienda principalmente para la estimación de distribución ".

Hay una consideración especial con la navaja, particularmente con la navaja de observación Delete-1. Solo debe usarse con estadísticas uniformes y diferenciables (por ejemplo, totales, medias, proporciones, razones, razones impares, coeficientes de regresión, etc .; no con medianas o cuantiles). Esto podría convertirse en una desventaja práctica. Esta desventaja suele ser el argumento que favorece el bootstrapping sobre el jackknifing. Las navajas más generales que el delete-1, como el delete-m jackknife o el estimador de Hodges-Lehmann delete-all-but-2 , superan este problema para las medianas y cuantiles al relajar los requisitos de suavidad para una estimación de la varianza consistente.

Por lo general, el jackknife es más fácil de aplicar a esquemas de muestreo complejos que el bootstrap. Los esquemas de muestreo complejos pueden involucrar estratificación, múltiples etapas (agrupamiento), pesos de muestreo variables (ajustes de no respuesta, calibración, posestratificación) y bajo diseños de muestreo de probabilidad desigual. Los aspectos teóricos tanto del bootstrap como del jackknife se pueden encontrar en Shao y Tu (1995), mientras que una introducción básica se explica en Wolter (2007). La estimación bootstrap del sesgo de predicción del modelo es más precisa que las estimaciones jackknife con modelos lineales como la función discriminante lineal o la regresión múltiple.

Validación cruzada

La validación cruzada es un método estadístico para validar un modelo predictivo . Los subconjuntos de datos se mantienen para su uso como conjuntos de validación; un modelo se ajusta a los datos restantes (un conjunto de entrenamiento) y se usa para predecir el conjunto de validación. Al promediar la calidad de las predicciones en los conjuntos de validación se obtiene una medida general de precisión de la predicción. La validación cruzada se emplea repetidamente en la construcción de árboles de decisión.

Una forma de validación cruzada omite una sola observación a la vez; esto es similar a la navaja . Otra, la validación cruzada de K , divide los datos en K subconjuntos; cada uno se presenta a su vez como el conjunto de validación.

Esto evita la "autoinfluencia". A modo de comparación, en los métodos de análisis de regresión , como la regresión lineal , cada valor de y dibuja la línea de regresión hacia sí mismo, lo que hace que la predicción de ese valor parezca más precisa de lo que realmente es. La validación cruzada aplicada a la regresión lineal predice el valor de y para cada observación sin usar esa observación.

Esto se usa a menudo para decidir cuántas variables predictoras se usarán en la regresión. Sin la validación cruzada, la adición de predictores siempre reduce la suma residual de cuadrados (o posiblemente la deja sin cambios). Por el contrario, el error cuadrático medio con validación cruzada tenderá a disminuir si se agregan predictores valiosos, pero aumentará si se agregan predictores inútiles.

Submuestreo

El submuestreo es un método alternativo para aproximar la distribución muestral de un estimador. Las dos diferencias clave con el bootstrap son: (i) el tamaño del remuestreo es más pequeño que el tamaño de la muestra y (ii) el remuestreo se realiza sin reemplazo. La ventaja del submuestreo es que es válido en condiciones mucho más débiles en comparación con el bootstrap. En particular, un conjunto de condiciones suficientes es que se conozca la tasa de convergencia del estimador y que la distribución límite sea continua; Además, el tamaño de la nueva muestra (o submuestra) debe tender al infinito junto con el tamaño de la muestra, pero a una tasa menor, de modo que su relación converja a cero. Si bien el submuestreo se propuso originalmente para el caso de datos independientes e idénticamente distribuidos (iid) únicamente, la metodología se ha ampliado para cubrir también datos de series de tiempo; en este caso, se vuelven a muestrear bloques de datos posteriores en lugar de puntos de datos individuales. Hay muchos casos de interés aplicado en los que el submuestreo conduce a una inferencia válida, mientras que el bootstrapping no lo hace; por ejemplo, tales casos incluyen ejemplos en los que la tasa de convergencia del estimador no es la raíz cuadrada del tamaño de la muestra o cuando la distribución límite no es normal. Cuando tanto el submuestreo como el bootstrap son consistentes, el bootstrap suele ser más preciso. RANSAC es un algoritmo popular que utiliza submuestreo.

Pruebas de permutación

Las pruebas de permutación se basan en volver a muestrear los datos originales asumiendo la hipótesis nula. Con base en los datos remuestreados, se puede concluir la probabilidad de que ocurran los datos originales bajo la hipótesis nula.

Ver también

Referencias

Bibliografía

  • Good, P. (2006) Métodos de remuestreo . 3ª Ed. Birkhauser.
  • Wolter, KM (2007). Introducción a la estimación de la varianza . 2ª Edición. Springer, Inc.
  • Pierre del Moral (2004). Fórmulas de Feynman-Kac. Sistemas de partículas genealógicos e interactivos con aplicaciones, Springer, probabilidad de serie y aplicaciones. ISBN  978-0-387-20268-6
  • Pierre del Moral (2013). Del Moral, Pierre (2013). Simulación de campo medio para la integración de Monte Carlo . Chapman & Hall / CRC Press, Monografías sobre estadística y probabilidad aplicada. ISBN  9781466504059

enlaces externos

Software