Efecto mirar en otra parte - Look-elsewhere effect

El efecto buscar en otra parte es un fenómeno en el análisis estadístico de experimentos científicos donde una observación aparentemente estadísticamente significativa puede haber surgido realmente por casualidad debido al tamaño del espacio de parámetros que se busca.

Una vez que se reconoce la posibilidad de un error de búsqueda en otro lugar en un análisis, se puede compensar mediante la aplicación cuidadosa de técnicas matemáticas estándar.

Más generalmente conocido en las estadísticas como el problema de las comparaciones múltiples , el término ganó cierta atención de los medios en 2011, en el contexto de la búsqueda del bosón de Higgs en el Gran Colisionador de Hadrones .

Usar

Artículo principal: corrección de Bonferroni

Muchas pruebas estadísticas entregan un valor p , la probabilidad de que un resultado dado pueda obtenerse por casualidad, asumiendo que la hipótesis que uno busca probar es de hecho falsa. Al preguntar "¿ X afecta a Y ?", Es común variar X y ver si hay una variación significativa en Y como resultado. Si este valor p es menor que algún umbral de significación estadística predeterminado α , se considera que el resultado es "significativo".

Sin embargo, si uno está realizando múltiples pruebas ("buscando en otra parte" si la primera prueba falla), se espera que ocurra un valor p de 1 / n una vez por n pruebas. Por ejemplo, cuando no hay un efecto real, un evento con p  <0.05 seguirá ocurriendo una vez, en promedio, por cada 20 pruebas realizadas. Para compensar esto, puede dividir su umbral α por el número de pruebas n , por lo que un resultado es significativo cuando p < α / n . O, de manera equivalente, multiplique el valor p observado por el número de pruebas (significativo cuando np < α ).

Este es un caso simplificado; el número n es en realidad el número de grados de libertad en las pruebas, o el número de pruebas efectivamente independientes. Si no son completamente independientes, el número puede ser menor que el número de pruebas.

El efecto de buscar en otra parte es una causa frecuente de "inflación significativa" cuando se subestima el número de pruebas independientes n porque las pruebas fallidas no se publican. Un artículo puede no mencionar las hipótesis alternativas consideradas, o un artículo que no produce ningún resultado puede simplemente no publicarse en absoluto, lo que lleva a revistas dominadas por valores atípicos estadísticos.

Ejemplos de

  • Un estudio sueco en 1992 trató de determinar si las líneas eléctricas causaron algún tipo de efectos nocivos para la salud. Los investigadores encuestaron a todas las personas que vivían a menos de 300 m de líneas eléctricas de alto voltaje durante un período de 25 años y buscaron aumentos estadísticamente significativos en las tasas de más de 800 dolencias. El estudio encontró que la incidencia de leucemia infantil era cuatro veces mayor entre las personas que vivían más cerca de las líneas eléctricas, y estimuló los llamados a la acción por parte del gobierno sueco. Sin embargo, el problema con la conclusión fue que no lograron compensar el efecto de buscar en otra parte; en cualquier colección de 800 muestras aleatorias, es probable que al menos una sea al menos 3 desviaciones estándar por encima del valor esperado, solo por casualidad. Los estudios posteriores no pudieron mostrar ningún vínculo entre las líneas eléctricas y la leucemia infantil, ni en la causalidad ni siquiera en la correlación.
  • El fenómeno del Código de la Biblia pretende encontrar agrupaciones atípicas y significativas de palabras que predicen eventos futuros ocultos en el texto de la Biblia hebrea, tomadas como una secuencia cruda de letras sin espacios y dispuestas en varias cuadrículas de diferentes proporciones. Sin embargo, como demostró un artículo en Skeptical Inquirer , esto equivale a generar una gran cantidad de cuadrículas para examinar patrones o agrupaciones dividiendo la cadena de texto completo en anchos de unas pocas a cientos de miles de letras de ancho, repitiendo el ancho para las filas posteriores. . Cada una de esas muchas cuadrículas puede, a su vez, buscarse más en una amplia gama de palabras de interés saltando en intervalos, hacia adelante o hacia atrás, de una x letras arbitrarias en el texto (ox + 1, x + 2, etc. ), en un producto cruzado masivo de posibilidades parametrizadas , y una palabra de interés coincidente asociada puede ser cualquier cadena cercana en un salto arbitrario de x + k o y + k letras, hacia adelante o hacia atrás, de modo que los volúmenes de permutación se vuelvan enormes. Por lo tanto, dejando a un lado preguntas relacionadas como el sesgo de confirmación , incluso si no se encontraron agrupaciones de interés o importancia en la primera cuadrícula, la siguiente iteración puede ser probada por computadora y así sucesivamente en masa hasta que finalmente se lleguen agrupaciones "milagrosas" o "improbables". a. Esto equivale en efecto a, al repartirse una mano de póquer poco interesante , continuar haciéndolo en las grandes cantidades necesarias hasta que uno obtenga una escalera de color , una escalera real o incluso muchos eventos similares en secuencia, y llamar a la baraja inspirada para permitir tal un resultado. El autor de Skeptical Inquirer pudo lograr efectos idénticos simplemente aplicando los mismos algoritmos de búsqueda tanto al texto de la Biblia King James en inglés en lugar de la versión hebrea supuestamente inspirada por Dios, y luego con la misma eficacia al texto de ejemplo mundano y arbitrario de la decisión de 1987 de la Corte Suprema de los Estados Unidos Edwards v. Aguillard .
  • El cómic de XKCD "Significant" proporciona un buen ejemplo ficticio de este problema.

Ver también

Referencias

enlaces externos