Independencia condicional - Conditional independence

Parte de una serie de estadísticas
Teoría de probabilidad
Probabilidad Axiomas Determinismo Sistema Indeterminismo Aleatoriedad
Espacio de probabilidad Espacio muestral Evento Eventos colectivamente exhaustivos Evento elemental Exclusividad mutua Salir único Experimentar Juicio de Bernoulli Distribución de probabilidad Distribución de Bernoulli Distribución binomial Distribución normal Medida de probabilidad Variable aleatoria Proceso de Bernoulli Continuo o discreto Valor esperado Cadena de Markov Valor observado Caminata aleatoria Proceso estocástico
Evento complementario Probabilidad conjunta Probabilidad marginal La probabilidad condicional
Independencia Independencia condicional Ley de probabilidad total Ley de los grandes números Teorema de Bayes La desigualdad de Boole
diagrama de Venn Diagrama de árbol
v t mi

En la teoría de la probabilidad , la independencia condicional describe situaciones en las que una observación es irrelevante o redundante al evaluar la certeza de una hipótesis. La independencia condicional se suele formular en términos de probabilidad condicional , como un caso especial en el que la probabilidad de la hipótesis dada la observación no informativa es igual a la probabilidad sin. Si es la hipótesis y son observaciones, la independencia condicional se puede establecer como una igualdad: ${\ Displaystyle A}$${\ Displaystyle B}$${\ Displaystyle C}$

${\ Displaystyle P (A | B, C) = P (A | C)}$

donde es la probabilidad de que se den ambos y . Dado que la probabilidad de dado es la misma que la probabilidad de dado ambos y , esta igualdad expresa que no aporta nada a la certeza de . En este caso, y se dice que son condicionalmente independientes dado , escrito simbólicamente como: . ${\ Displaystyle P (A | B, C)}$${\ Displaystyle A}$${\ Displaystyle B}$${\ Displaystyle C}$${\ Displaystyle A}$${\ Displaystyle C}$${\ Displaystyle A}$${\ Displaystyle B}$${\ Displaystyle C}$${\ Displaystyle B}$${\ Displaystyle A}$${\ Displaystyle A}$${\ Displaystyle B}$${\ Displaystyle C}$${\ Displaystyle (A \ perp \! \! \! \ perp B | C)}$

El concepto de independencia condicional es esencial para las teorías de inferencia estadística basadas en gráficos, ya que establece una relación matemática entre una colección de enunciados condicionales y un grafoide .

Independencia condicional de eventos

Dejemos que , y sean eventos . y se dice que son condicionalmente independientes dado si y solo si y: ${\ Displaystyle A}$${\ Displaystyle B}$${\ Displaystyle C}$${\ Displaystyle A}$${\ Displaystyle B}$${\ Displaystyle C}$${\ Displaystyle P (C)> 0}$

${\ Displaystyle P (A \ mid B, C) = P (A \ mid C)}$

Esta propiedad se escribe a menudo: . ${\ Displaystyle (A \ perp \! \! \! \ perp B \ mid C)}$

De manera equivalente, la independencia condicional puede expresarse como:

${\ Displaystyle P (A, B | C) = P (A | C) P (B | C)}$

donde es la probabilidad conjunta de y dado . Esta formulación alternativa establece que y son eventos independientes , dados . ${\ Displaystyle P (A, B | C)}$${\ Displaystyle A}$${\ Displaystyle B}$${\ Displaystyle C}$${\ Displaystyle A}$${\ Displaystyle B}$${\ Displaystyle C}$

Prueba de la definición equivalente

${\ Displaystyle P (A, B \ mid C) = P (A \ mid C) P (B \ mid C)}$

iff      (definición de probabilidad condicional )${\ Displaystyle {\ frac {P (A, B, C)} {P (C)}} = ({\ frac {P (A, C)} {P (C)}}) ({\ frac {P (B, C)} {P (C)}})}$

iff       (multiplica ambos lados por )${\ Displaystyle P (A, B, C) = {\ frac {P (A, C) P (B, C)} {P (C)}}}$${\ Displaystyle P (C)}$

iff       (divide ambos lados por )${\ Displaystyle {\ frac {P (A, B, C)} {P (B, C)}} = {\ frac {P (A, C)} {P (C)}}}$${\ Displaystyle P (B, C)}$

iff       (definición de probabilidad condicional)${\ Displaystyle P (A \ mid B, C) = P (A \ mid C)}$${\ Displaystyle \ por lo tanto}$

Ejemplos de

La discusión sobre StackExchange proporciona un par de ejemplos útiles. Vea abajo.

Cajas de colores

Cada celda representa un posible resultado. Los eventos , y están representados por las áreas sombreadas en rojo , azul y amarillo, respectivamente. La superposición entre los eventos y está sombreada en violeta . ${\ Displaystyle \ color {rojo} R}$${\ Displaystyle \ color {azul} B}$${\ Displaystyle \ color {dorado} Y}$${\ Displaystyle \ color {rojo} R}$${\ Displaystyle \ color {azul} B}$

Las probabilidades de estos eventos son áreas sombreadas con respecto al área total. En ambos ejemplos y son condicionalmente independientes dado porque: ${\ Displaystyle \ color {rojo} R}$${\ Displaystyle \ color {azul} B}$${\ Displaystyle \ color {dorado} Y}$

${\ Displaystyle \ Pr ({\ color {rojo} R}, {\ color {azul} B} \ mid {\ color {dorado} Y}) = \ Pr ({\ color {rojo} R} \ mid {\ color {dorado} Y}) \ Pr ({\ color {azul} B} \ mid {\ color {dorado} Y})}$

pero no condicionalmente independiente dado porque: ${\ Displaystyle \ left [{\ text {not}} {\ color {gold} Y} \ right]}$

${\ Displaystyle \ Pr ({\ color {rojo} R}, {\ color {azul} B} \ mid {\ text {not}} {\ color {dorado} Y}) \ not = \ Pr ({\ color {rojo} R} \ mid {\ text {not}} {\ color {dorado} Y}) \ Pr ({\ color {azul} B} \ mid {\ text {not}} {\ color {dorado} Y })}$

Clima y retrasos

Supongamos que los dos eventos son las probabilidades de que las personas A y B lleguen a casa a tiempo para cenar, y el tercer evento es el hecho de que una tormenta de nieve azotó la ciudad. Si bien tanto A como B tienen una probabilidad más baja de llegar a casa a tiempo para la cena, las probabilidades más bajas seguirán siendo independientes entre sí. Es decir, el conocimiento de que A llega tarde no le dice si B llegará tarde. (Pueden estar viviendo en diferentes vecindarios, viajando diferentes distancias y usando diferentes medios de transporte). Sin embargo, si tiene información de que viven en el mismo vecindario, usan el mismo transporte y trabajan en el mismo lugar, entonces los dos los eventos NO son condicionalmente independientes.

Rodando dados

La independencia condicional depende de la naturaleza del tercer evento. Si tira dos dados, se puede suponer que los dos dados se comportan de forma independiente. Mirar los resultados de un dado no le dirá sobre el resultado del segundo dado. (Es decir, los dos dados son independientes). Sin embargo, si el resultado del primer dado es un 3 y alguien le informa sobre un tercer evento, que la suma de los dos resultados es par, entonces esta unidad adicional de información restringe la opciones para el segundo resultado a un número impar. En otras palabras, dos eventos pueden ser independientes, pero NO condicionalmente independientes.

Altura y vocabulario

La altura y el vocabulario son dependientes ya que las personas muy pequeñas tienden a ser niños, conocidos por sus vocabularios más básicos. Pero sabiendo que dos personas tienen 19 años (es decir, condicionado por la edad), no hay razón para pensar que el vocabulario de una persona es más grande si se nos dice que es más alto.

Independencia condicional de variables aleatorias

Dos variables aleatorias y son condicionalmente independientes dada una tercera variable aleatoria discreta si y solo si son independientes en su distribución de probabilidad condicional dada . Es decir, y son condicionalmente independientes dados si y solo si, dado cualquier valor de , la distribución de probabilidad de es la misma para todos los valores de y la distribución de probabilidad de es la misma para todos los valores de . Formalmente: ${\ Displaystyle X}$${\ Displaystyle Y}$${\ Displaystyle Z}$${\ Displaystyle Z}$${\ Displaystyle X}$${\ Displaystyle Y}$${\ Displaystyle Z}$${\ Displaystyle Z}$${\ Displaystyle X}$${\ Displaystyle Y}$${\ Displaystyle Y}$${\ Displaystyle X}$

donde es la función de distribución acumulativa condicional de y dado . ${\ Displaystyle F_ {X, Y \, \ mid \, Z \, = \, z} (x, y) = \ Pr (X \ leq x, Y \ leq y \ mid Z = z)}$${\ Displaystyle X}$${\ Displaystyle Y}$${\ Displaystyle Z}$

Dos eventos y son condicionalmente independientes dada una σ-álgebra si ${\ Displaystyle R}$${\ Displaystyle B}$ ${\ Displaystyle \ Sigma}$

${\ Displaystyle \ Pr (R, B \ mid \ Sigma) = \ Pr (R \ mid \ Sigma) \ Pr (B \ mid \ Sigma) {\ text {as}}}$

donde denota la expectativa condicional de la función indicadora del evento , dado el álgebra sigma . Es decir, ${\ Displaystyle \ Pr (A \ mid \ Sigma)}$${\ Displaystyle A}$${\ Displaystyle \ chi _ {A}}$${\ Displaystyle \ Sigma}$

${\ Displaystyle \ Pr (A \ mid \ Sigma): = \ operatorname {E} [\ chi _ {A} \ mid \ Sigma].}$

Dos variables aleatorias y son condicionalmente independientes dada una σ-álgebra si la ecuación anterior se cumple para todos en y en . ${\ Displaystyle X}$${\ Displaystyle Y}$${\ Displaystyle \ Sigma}$${\ Displaystyle R}$${\ Displaystyle \ sigma (X)}$${\ Displaystyle B}$${\ Displaystyle \ sigma (Y)}$

Dos variables aleatorias y son condicionalmente independientes dada una variable aleatoria si son independientes dada σ ( W ): la σ-álgebra generada por . Esto se escribe comúnmente: ${\ Displaystyle X}$${\ Displaystyle Y}$${\ Displaystyle W}$${\ Displaystyle W}$

${\ Displaystyle X \ perp \! \! \! \ perp Y \ mid W}$ o

${\ Displaystyle X \ perp Y \ mid W}$

Esto se lee " es independiente de , dado "; el condicionamiento se aplica a todo el enunciado: "( es independiente de ) dado ". ${\ Displaystyle X}$${\ Displaystyle Y}$${\ Displaystyle W}$${\ Displaystyle X}$${\ Displaystyle Y}$${\ Displaystyle W}$

${\ Displaystyle (X \ perp \! \! \! \ perp Y) \ mid W}$

Si asume un conjunto de valores contables, esto equivale a la independencia condicional de X e Y para los eventos de la forma . La independencia condicional de más de dos eventos, o de más de dos variables aleatorias, se define de forma análoga. ${\ Displaystyle W}$${\ Displaystyle [W = w]}$

Los dos ejemplos siguientes muestran que ni implica ni está implícito por . Primero, suponga que es 0 con probabilidad 0.5 y 1 en caso contrario. Cuando W  = 0 tome y sea ​​independiente, cada uno con el valor 0 con probabilidad 0,99 y el valor 1 en caso contrario. Cuando , y vuelven a ser independientes, pero esta vez toman el valor 1 con probabilidad de 0,99. Entonces . Pero y son dependientes, porque Pr ( X  = 0) <Pr ( X  = 0 | Y  = 0). Esto se debe a que Pr ( X  = 0) = 0.5, pero si Y  = 0, entonces es muy probable que W  = 0 y, por lo tanto, X  = 0 también, por lo que Pr ( X  = 0 | Y  = 0)> 0.5. Para el segundo ejemplo, suponga que cada uno toma los valores 0 y 1 con probabilidad 0.5. Sea el producto . Entonces , cuando , Pr ( X  = 0) = 2/3, pero Pr ( X  = 0 | Y  = 0) = 1/2, entonces es falso. Este es también un ejemplo de Explicación. Vea el tutorial de Kevin Murphy dónde y tome los valores "inteligente" y "deportivo". ${\ Displaystyle X \ perp \! \! \! \ perp Y}$ ${\ Displaystyle (X \ perp \! \! \! \ perp Y) \ mid W}$${\ Displaystyle W}$${\ Displaystyle X}$${\ Displaystyle Y}$${\ Displaystyle W = 1}$${\ Displaystyle X}$${\ Displaystyle Y}$${\ Displaystyle (X \ perp \! \! \! \ perp Y) \ mid W}$${\ Displaystyle X}$${\ Displaystyle Y}$${\ Displaystyle X \ perp \! \! \! \ perp Y}$${\ Displaystyle W}$${\ Displaystyle X \ cdot Y}$${\ Displaystyle W = 0}$${\ Displaystyle (X \ perp \! \! \! \ perp Y) \ mid W}$${\ Displaystyle X}$${\ Displaystyle Y}$

Independencia condicional de vectores aleatorios

Dos vectores aleatorios y son condicionalmente independientes dado un tercer vector aleatorio si y solo si son independientes en su distribución acumulativa condicional dada . Formalmente: ${\ Displaystyle \ mathbf {X} = (X_ {1}, \ ldots, X_ {l}) ^ {\ mathrm {T}}}$${\ Displaystyle \ mathbf {Y} = (Y_ {1}, \ ldots, Y_ {m}) ^ {\ mathrm {T}}}$${\ Displaystyle \ mathbf {Z} = (Z_ {1}, \ ldots, Z_ {n}) ^ {\ mathrm {T}}}$${\ Displaystyle \ mathbf {Z}}$

donde , y y las distribuciones acumulativas condicionales se definen como sigue. ${\ Displaystyle \ mathbf {x} = (x_ {1}, \ ldots, x_ {l}) ^ {\ mathrm {T}}}$${\ Displaystyle \ mathbf {y} = (y_ {1}, \ ldots, y_ {m}) ^ {\ mathrm {T}}}$${\ Displaystyle \ mathbf {z} = (z_ {1}, \ ldots, z_ {n}) ^ {\ mathrm {T}}}$

${\ Displaystyle {\ begin {alineado} F _ {\ mathbf {X}, \ mathbf {Y} \, \ mid \, \ mathbf {Z} \, = \, \ mathbf {z}} (\ mathbf {x} , \ mathbf {y}) & = \ Pr (X_ {1} \ leq x_ {1}, \ ldots, X_ {l} \ leq x_ {l}, Y_ {1} \ leq y_ {1}, \ ldots , Y_ {m} \ leq y_ {m} \ mid Z_ {1} = z_ {1}, \ ldots, Z_ {n} = z_ {n}) \\ [6pt] F _ {\ mathbf {X} \, \ mid \, \ mathbf {Z} \, = \, \ mathbf {z}} (\ mathbf {x}) & = \ Pr (X_ {1} \ leq x_ {1}, \ ldots, X_ {l} \ leq x_ {l} \ mid Z_ {1} = z_ {1}, \ ldots, Z_ {n} = z_ {n}) \\ [6pt] F _ {\ mathbf {Y} \, \ mid \, \ mathbf {Z} \, = \, \ mathbf {z}} (\ mathbf {y}) & = \ Pr (Y_ {1} \ leq y_ {1}, \ ldots, Y_ {m} \ leq y_ {m } \ mid Z_ {1} = z_ {1}, \ ldots, Z_ {n} = z_ {n}) \ end {alineado}}}$

Usos en inferencia bayesiana

Sea p la proporción de votantes que votarán "sí" en un próximo referéndum . Al realizar una encuesta de opinión , uno elige n votantes al azar de la población. Para i  = 1,…,  n , sea X _i  = 1 o 0 correspondiente, respectivamente, a si el i- ésimo votante elegido votará "sí" o no.

En un enfoque frecuentista de la inferencia estadística, uno no atribuiría ninguna distribución de probabilidad ap (a menos que las probabilidades pudieran interpretarse de alguna manera como frecuencias relativas de ocurrencia de algún evento o como proporciones de alguna población) y uno diría que X ₁ , ..., X _n son variables aleatorias independientes .

Por el contrario, en un bayesiano enfoque de la inferencia estadística, se podría asignar una distribución de probabilidad de p , independientemente de la no existencia de tal interpretación "frecuencia", y uno podría interpretar las probabilidades como grados de creencia de que p es en cualquier intervalo de a la que se le asigna una probabilidad. En ese modelo, las variables aleatorias X ₁ ,…,  X _n no son independientes, pero son condicionalmente independientes dado el valor de p . En particular, si se observa que un gran número de X es igual a 1, eso implicaría una alta probabilidad condicional , dada esa observación, de que p está cerca de 1 y, por lo tanto, una alta probabilidad condicional , dada esa observación, que el la siguiente X a observar será igual a 1.

Reglas de independencia condicional

A partir de la definición básica se ha derivado un conjunto de reglas que gobiernan las declaraciones de independencia condicional.

Estas reglas fueron denominadas " Axiomas grafoides " por Pearl y Paz, porque se mantienen en los gráficos, donde se interpreta que significa: "Todos los caminos de X a A son interceptados por el conjunto B ". ${\ Displaystyle X \ perp \! \! \! \ perp A \ mid B}$

Simetría

${\ Displaystyle X \ perp \! \! \! \ perp Y \ quad \ Rightarrow \ quad Y \ perp \! \! \! \ perp X}$

Descomposición

${\ Displaystyle X \ perp \! \! \! \ perp A, B \ quad \ Rightarrow \ quad {\ text {y}} {\ begin {cases} X \ perp \! \! \! \ perp A \\ X \ perp \! \! \! \ Perp B \ end {cases}}}$

Prueba

• ${\ Displaystyle p_ {X, A, B} (x, a, b) = p_ {X} (x) p_ {A, B} (a, b)}$      (significado de )${\ Displaystyle X \ perp \! \! \! \ perp A, B}$
• ${\ Displaystyle \ int _ {B} p_ {X, A, B} (x, a, b) \, db = \ int _ {B} p_ {X} (x) p_ {A, B} (a, b) \, db}$      (ignore la variable B integrándola)
• ${\ Displaystyle p_ {X, A} (x, a) = p_ {X} (x) p_ {A} (a)}$     

Una prueba similares demuestra la independencia de X y B .

Unión débil

${\ Displaystyle X \ perp \! \! \! \ perp A, B \ quad \ Rightarrow \ quad {\ text {y}} {\ begin {cases} X \ perp \! \! \! \ perp A \ mid B \\ X \ perp \! \! \! \ Perp B \ mid A \ end {casos}}}$

Prueba

• Por supuesto, .${\ Displaystyle \ Pr (X) = \ Pr (X \ mid A, B)}$
• Debido a la propiedad de la descomposición , .${\ Displaystyle X \ perp \! \! \! \ perp B}$${\ Displaystyle \ Pr (X) = \ Pr (X \ mid B)}$
• La combinación de las dos igualdades anteriores da , lo que establece .${\ Displaystyle \ Pr (X \ mid B) = \ Pr (X \ mid A, B)}$${\ Displaystyle X \ perp \! \! \! \ perp A \ mid B}$

La segunda condición se puede probar de manera similar.

Contracción

${\ Displaystyle \ left. {\ begin {alineado} X \ perp \! \! \! \ perp A \ mid B \\ X \ perp \! \! \! \ perp B \ end {alineado}} \ right \ } {\ text {y}} \ quad \ Rightarrow \ quad X \ perp \! \! \! \ perp A, B}$

Prueba

Esta propiedad se puede probar notando , cada igualdad de las cuales se afirma mediante y , respectivamente. ${\ Displaystyle \ Pr (X \ mid A, B) = \ Pr (X \ mid B) = \ Pr (X)}$${\ Displaystyle X \ perp \! \! \! \ perp A \ mid B}$${\ Displaystyle X \ perp \! \! \! \ perp B}$

Intersección

Para distribuciones de probabilidad estrictamente positivas, lo siguiente también es válido:

${\ Displaystyle \ left. {\ begin {alineado} X \ perp \! \! \! \ perp Y \ mid Z, W \\ X \ perp \! \! \! \ perp W \ mid Z, Y \ end {alineado}} \ right \} {\ text {y}} \ quad \ Rightarrow \ quad X \ perp \! \! \! \ perp W, Y \ mid Z}$

Prueba

Por supuesto:

${\ Displaystyle P (X | Z, W, Y) = P (X | Z, W) \ land P (X | Z, W, Y) = P (X | Z, Y) \ implica P (X | Z , Y) = P (X | Z, W)}$

Utilizando esta igualdad, junto con la Ley de probabilidad total aplicada a : ${\ Displaystyle P (X | Z)}$

${\ Displaystyle {\ begin {alineado} P (X | Z) & = \ sum _ {w \ in W} P (X | Z, W = w) P (W = w | Z) \\ [4pt] & = \ sum _ {w \ in W} P (X | Y, Z) P (W = w | Z) \\ [4pt] & = P (X | Z, Y) \ sum _ {w \ in W} P (W = w | Z) \\ [4pt] & = P (X | Z, Y) \ end {alineado}}}$

Desde y , sigue eso . ${\ Displaystyle P (X | Z, W, Y) = P (X | Z, Y)}$${\ Displaystyle P (X | Z, Y) = P (X | Z)}$${\ Displaystyle P (X | Z, W, Y) = P (X | Z) \ iff X \ perp \! \! \! \ perp Y, W | Z}$

Nota técnica: ya que estos tienen implicaciones para cualquier espacio de probabilidad, que todavía llevará a cabo si se considera una sub-universo acondicionando todo en otra variable, por ejemplo  K . Por ejemplo, también significaría eso . ${\ Displaystyle X \ perp \! \! \! \ perp Y \ Rightarrow Y \ perp \! \! \! \ perp X}$${\ Displaystyle X \ perp \! \! \! \ perp Y \ mid K \ Rightarrow Y \ perp \! \! \! \ perp X \ mid K}$

Ver también

• Grafoide
• Dependencia condicional
• teorema de de finetti
• Expectativa condicional

Referencias

enlaces externos

• Medios relacionados con la independencia condicional en Wikimedia Commons