Datos perdidos - Missing data

En estadística , los datos perdidos o los valores perdidos ocurren cuando no se almacena ningún valor de datos para la variable en una observación . Los datos faltantes son una ocurrencia común y pueden tener un efecto significativo en las conclusiones que se pueden extraer de los datos.

Los datos faltantes pueden ocurrir debido a la falta de respuesta: no se proporciona información para uno o más elementos o para una unidad completa ("tema"). Es más probable que algunos elementos generen una falta de respuesta que otros: por ejemplo, elementos sobre temas privados como los ingresos. La deserción es un tipo de falta que puede ocurrir en estudios longitudinales, por ejemplo, estudiar el desarrollo en el que una medición se repite después de un cierto período de tiempo. La falta de información ocurre cuando los participantes abandonan antes de que finalice la prueba y faltan una o más mediciones.

Los datos a menudo faltan en la investigación en economía , sociología y ciencias políticas porque los gobiernos o las entidades privadas eligen no informar, o no informan, de estadísticas críticas, o porque la información no está disponible. A veces, los valores perdidos son causados ​​por el investigador, por ejemplo, cuando la recopilación de datos se realiza de manera incorrecta o se cometen errores en la entrada de datos.

Estas formas de faltas toman diferentes tipos, con diferentes impactos en la validez de las conclusiones de la investigación: faltan completamente al azar, faltan al azar y faltan no al azar. Los datos que faltan se pueden manejar de manera similar a los datos censurados .

Tipos

Comprender las razones por las que faltan datos es importante para manejar correctamente los datos restantes. Si faltan valores completamente al azar, es probable que la muestra de datos aún sea representativa de la población. Pero si los valores faltan sistemáticamente, el análisis puede estar sesgado. Por ejemplo, en un estudio de la relación entre el coeficiente intelectual y los ingresos, si los participantes con un coeficiente intelectual superior al promedio tienden a saltarse la pregunta '¿Cuál es su salario?', Análisis que no tienen en cuenta esta falta al azar (patrón MAR ( ver más abajo)) puede fallar falsamente en encontrar una asociación positiva entre el coeficiente intelectual y el salario. Debido a estos problemas, los metodólogos aconsejan habitualmente a los investigadores que diseñen estudios para minimizar la aparición de valores perdidos. Se pueden utilizar modelos gráficos para describir en detalle el mecanismo de datos faltantes.

El gráfico muestra las distribuciones de probabilidad de las estimaciones de la intensidad esperada de depresión en la población. El número de casos es 60. Sea la población verdadera una distribución normal estandarizada y la probabilidad de no respuesta sea una función logística de la intensidad de la depresión. La conclusión es: cuantos más datos faltan (MNAR), más sesgadas son las estimaciones. Subestimamos la intensidad de la depresión en la población.

Perdiendo completamente al azar

Los valores en un conjunto de datos faltan completamente al azar (MCAR) si los eventos que conducen a que falte algún elemento de datos en particular son independientes tanto de las variables observables como de los parámetros de interés no observables, y ocurren completamente al azar. Cuando los datos son MCAR, el análisis realizado sobre los datos es imparcial; sin embargo, los datos rara vez son MCAR.

En el caso de MCAR, la falta de datos no está relacionada con ninguna variable de estudio: por lo tanto, los participantes con datos completamente observados son, en efecto, una muestra aleatoria de todos los participantes a los que se les asignó una intervención en particular. Con MCAR, se supone que se conserva la asignación aleatoria de tratamientos, pero en la práctica, en la práctica, esa es una suposición poco realista.

Falta al azar

La falta al azar (MAR) ocurre cuando la falta no es aleatoria, pero cuando la falta se puede explicar completamente por variables donde hay información completa. Dado que MAR es una suposición que es imposible de verificar estadísticamente, debemos confiar en su razonabilidad sustantiva. Un ejemplo es que los hombres tienen menos probabilidades de completar una encuesta de depresión, pero esto no tiene nada que ver con su nivel de depresión, después de tener en cuenta la masculinidad. Dependiendo del método de análisis, estos datos aún pueden inducir un sesgo de parámetros en los análisis debido al vacío contingente de las células (el hombre, la depresión muy alta puede tener cero entradas). Sin embargo, si el parámetro se estima con máxima probabilidad de información completa, MAR proporcionará estimaciones asintóticamente insesgadas.

Falta no al azar

Missing not at random (MNAR) (también conocido como no respuesta no ignorable) son datos que no son MAR ni MCAR (es decir, el valor de la variable que falta está relacionado con la razón por la que falta). Para ampliar el ejemplo anterior, esto ocurriría si los hombres no completaran una encuesta de depresión debido a su nivel de depresión.

Técnicas para lidiar con los datos faltantes

Los datos faltantes reducen la representatividad de la muestra y, por lo tanto, pueden distorsionar las inferencias sobre la población. En términos generales, existen tres enfoques principales para manejar los datos faltantes: (1) Imputación —donde los valores se llenan en lugar de los datos faltantes, (2) omisión —donde las muestras con datos no válidos se descartan de análisis posteriores y (3) análisis - aplicando directamente métodos que no se vean afectados por los valores perdidos. Una revisión sistemática que aborda la prevención y el manejo de los datos faltantes para la investigación de resultados centrados en el paciente identificó 10 estándares como necesarios para la prevención y el manejo de los datos faltantes. Estos incluyen estándares para el diseño del estudio, la realización del estudio, el análisis y la presentación de informes.

En alguna aplicación práctica, los experimentadores pueden controlar el nivel de falta y evitar valores faltantes antes de recopilar los datos. Por ejemplo, en los cuestionarios informáticos, a menudo no es posible omitir una pregunta. Hay que responder una pregunta, de lo contrario no se puede continuar con la siguiente. Por lo tanto, este tipo de cuestionario elimina los valores perdidos debidos al participante, aunque es posible que este método no esté permitido por una junta de ética que supervisa la investigación. En la investigación de encuestas, es común hacer múltiples esfuerzos para contactar a cada individuo en la muestra, a menudo enviando cartas para intentar persuadir a aquellos que han decidido no participar para que cambien de opinión. Sin embargo, tales técnicas pueden ayudar o perjudicar en términos de reducir los efectos inferenciales negativos de los datos faltantes, porque el tipo de personas que están dispuestas a ser persuadidas para participar después de negarse inicialmente o no estar en casa probablemente sea significativamente diferente del tipo de personas que aún se negarán o permanecerán inalcanzables después de un esfuerzo adicional.

En situaciones en las que es probable que se produzcan valores perdidos, a menudo se aconseja al investigador que planifique el uso de métodos de análisis de datos que sean robustos a la falta. Un análisis es sólido cuando confiamos en que las violaciones leves a moderadas de los supuestos clave de la técnica producirán poco o ningún sesgo o distorsión en las conclusiones extraídas sobre la población.

Imputación

Algunas técnicas de análisis de datos no son resistentes a la falta y requieren "completar" o imputar los datos faltantes. Rubin (1987) argumentó que repetir la imputación incluso unas pocas veces (5 o menos) mejora enormemente la calidad de la estimación. Para muchos propósitos prácticos, 2 o 3 imputaciones capturan la mayor parte de la eficiencia relativa que podría capturarse con un mayor número de imputaciones. Sin embargo, un número demasiado pequeño de imputaciones puede conducir a una pérdida sustancial de poder estadístico , y algunos académicos recomiendan ahora de 20 a 100 o más. Cualquier análisis de datos de imputación múltiple debe repetirse para cada uno de los conjuntos de datos imputados y, en algunos casos, las estadísticas relevantes deben combinarse de una manera relativamente complicada.

El algoritmo de maximización de expectativas es un enfoque en el que se estiman (imputan) los valores de las estadísticas que se calcularían si estuviera disponible un conjunto de datos completo, teniendo en cuenta el patrón de datos faltantes. En este enfoque, los valores de los elementos de datos individuales que faltan no suelen imputarse.

Interpolación

En el campo matemático del análisis numérico, la interpolación es un método para construir nuevos puntos de datos dentro del rango de un conjunto discreto de puntos de datos conocidos.

En la comparación de dos muestras pareadas con datos faltantes, una estadística de prueba que usa todos los datos disponibles sin la necesidad de imputación es la prueba t de muestras parcialmente superpuestas. Esto es válido bajo normalidad y asumiendo MCAR

Eliminación parcial

Los métodos que implican reducir los datos disponibles a un conjunto de datos que no tiene valores perdidos incluyen:

Análisis completo

Métodos que tienen plenamente en cuenta toda la información disponible, sin la distorsión resultante de utilizar valores imputados como si fueran realmente observados:

También se pueden utilizar métodos de identificación parcial .

Técnicas basadas en modelos

Las técnicas basadas en modelos, que a menudo utilizan gráficos, ofrecen herramientas adicionales para probar tipos de datos faltantes (MCAR, MAR, MNAR) y para estimar parámetros en condiciones de datos faltantes. Por ejemplo, una prueba para refutar MAR / MCAR dice lo siguiente:

Para cualquier tres variables X, Y , y Z , donde Z se observa plenamente y X y Y observó parcialmente, los datos deben satisfacer: .

En palabras, la parte observada de X debe ser independiente sobre el estado missingness de Y, condicionada a cada valor de Z . El incumplimiento de esta condición indica que el problema pertenece a la categoría MNAR.

(Observación: estas pruebas son necesarias para la MAR basada en variables, que es una ligera variación de la MAR basada en eventos).

Cuando los datos entran en la categoría de MNAR, se encuentran disponibles técnicas para estimar parámetros de manera consistente cuando se cumplen ciertas condiciones en el modelo. Por ejemplo, si Y explica la razón de la falta de X y la propia Y tiene valores faltantes, la distribución de probabilidad conjunta de X e Y aún se puede estimar si la falta de Y es aleatoria. El estimado en este caso será:

donde y denotan las porciones observadas de sus respectivas variables.

Diferentes estructuras de modelos pueden producir diferentes estimaciones y diferentes procedimientos de estimación siempre que sea posible una estimación consistente. Las llamadas estimand anteriores para la primera estimación a partir de datos completos y multiplicándolo por estimarse a partir de los casos en los que Y se observa independientemente de la situación de X . Además, para obtener una estimación coherente, es fundamental que el primer término sea opuesto a .

En muchos casos, las técnicas basadas en modelos permiten que la estructura del modelo se someta a pruebas de refutación. Cualquier modelo que implica la independencia entre una variable parcialmente observado X y el indicador missingness de otra variable Y (es decir ), en condicional puede ser sometido a la siguiente prueba de refutación: .

Finalmente, los estimados que surgen de estas técnicas se derivan en forma cerrada y no requieren procedimientos iterativos como la Maximización de Expectativas que son susceptibles de óptimos locales.

Aparece una clase especial de problemas cuando la probabilidad de que falten depende del tiempo. Por ejemplo, en las bases de datos de trauma, la probabilidad de perder datos sobre el resultado del trauma depende del día posterior al trauma. En estos casos se aplican varios modelos de cadenas de Markov no estacionarias .

Ver también

Referencias

Otras lecturas

enlaces externos

Fondo

Software