Partición de sumas de cuadrados - Partition of sums of squares

La partición de sumas de cuadrados es un concepto que impregna gran parte de la estadística inferencial y la estadística descriptiva . Más propiamente, es la partición de sumas de errores o desviaciones cuadradas . Matemáticamente, la suma de las desviaciones cuadradas es una medida de dispersión sin escala o sin ajustar (también llamada variabilidad ). Cuando se escala para el número de grados de libertad , estima la varianza o la dispersión de las observaciones sobre su valor medio. La partición de la suma de las desviaciones cuadradas en varios componentes permite que la variabilidad general en un conjunto de datos se atribuya a diferentes tipos o fuentes de variabilidad, y la importancia relativa de cada una se cuantifica por el tamaño de cada componente de la suma total de cuadrados.

Fondo

La distancia desde cualquier punto en una colección de datos, a la media de los datos, es la desviación. Esto se puede escribir como , donde es el i-ésimo punto de datos y es la estimación de la media. Si todas estas desviaciones se elevan al cuadrado, luego se suman, como en , esto da la "suma de cuadrados" para estos datos. ${\ Displaystyle y_ {i} - {\ overline {y}}}$${\ Displaystyle y_ {i}}$${\ Displaystyle {\ overline {y}}}$${\ Displaystyle \ sum _ {i = 1} ^ {n} \ left (y_ {i} - {\ overline {y}} \, \ right) ^ {2}}$

Cuando se agregan más datos a la colección, la suma de cuadrados aumentará, excepto en casos poco probables, como que los nuevos datos sean iguales a la media. Por lo general, la suma de cuadrados aumentará con el tamaño de la recopilación de datos. Esa es una manifestación del hecho de que no tiene escala.

En muchos casos, el número de grados de libertad es simplemente el número de datos de la colección, menos uno. Escribimos esto como n  - 1, donde n es el número de datos.

Escalar (también conocido como normalización) significa ajustar la suma de cuadrados para que no aumente a medida que aumenta el tamaño de la recopilación de datos. Esto es importante cuando queremos comparar muestras de diferentes tamaños, como una muestra de 100 personas en comparación con una muestra de 20 personas. Si la suma de cuadrados no estuviera normalizada, su valor siempre sería mayor para la muestra de 100 personas que para la muestra de 20 personas. Para escalar la suma de cuadrados, la dividimos por los grados de libertad, es decir, calculamos la suma de cuadrados por grado de libertad o varianza. La desviación estándar , a su vez, es la raíz cuadrada de la varianza.

Lo anterior describe cómo se usa la suma de cuadrados en estadística descriptiva; consulte el artículo sobre la suma total de cuadrados para ver una aplicación de este principio general a la estadística inferencial .

Partición de la suma de cuadrados en regresión lineal

Teorema. Dado un modelo de regresión lineal que incluye una constante , basado en una muestra que contiene n observaciones, la suma total de cuadrados se puede dividir de la siguiente manera en la suma de cuadrados explicada (ESS) y la suma de cuadrados residual (RSS): ${\ Displaystyle y_ {i} = \ beta _ {0} + \ beta _ {1} x_ {i1} + \ cdots + \ beta _ {p} x_ {ip} + \ varepsilon _ {i}}$ ${\ Displaystyle \ beta _ {0}}$${\ Displaystyle (y_ {i}, x_ {i1}, \ ldots, x_ {ip}), \, i = 1, \ ldots, n}$${\ Displaystyle \ mathrm {TSS} = \ sum _ {i = 1} ^ {n} (y_ {i} - {\ bar {y}}) ^ {2}}$

${\ Displaystyle \ mathrm {TSS} = \ mathrm {ESS} + \ mathrm {RSS},}$

donde esta ecuación es equivalente a cada una de las siguientes formas:

${\ Displaystyle {\ begin {alineado} \ left \ | y - {\ bar {y}} \ mathbf {1} \ right \ | ^ {2} & = \ left \ | {\ hat {y}} - { \ bar {y}} \ mathbf {1} \ right \ | ^ {2} + \ left \ | {\ hat {\ varepsilon}} \ right \ | ^ {2}, \ quad \ mathbf {1} = ( 1,1, \ ldots, 1) ^ {T}, \\\ sum _ {i = 1} ^ {n} (y_ {i} - {\ bar {y}}) ^ {2} & = \ sum _ {i = 1} ^ {n} ({\ hat {y}} _ {i} - {\ bar {y}}) ^ {2} + \ sum _ {i = 1} ^ {n} (y_ {i} - {\ hat {y}} _ {i}) ^ {2}, \\\ sum _ {i = 1} ^ {n} (y_ {i} - {\ bar {y}}) ^ {2} & = \ sum _ {i = 1} ^ {n} ({\ hat {y}} _ {i} - {\ bar {y}}) ^ {2} + \ sum _ {i = 1 } ^ {n} {\ hat {\ varepsilon}} _ {i} ^ {2}, \\\ end {alineado}}}$

donde está el valor estimado por la línea de regresión teniendo , , ..., como los cerca de coeficientes .${\ Displaystyle {\ hat {y}} _ {i}}$${\ displaystyle {\ hat {b}} _ {0}}$${\ Displaystyle {\ hat {b}} _ {1}}$${\ Displaystyle {\ hat {b}} _ {p}}$

Prueba

${\ Displaystyle {\ begin {alineado} \ sum _ {i = 1} ^ {n} (y_ {i} - {\ overline {y}}) ^ {2} & = \ sum _ {i = 1} ^ {n} (y_ {i} - {\ overline {y}} + {\ hat {y}} _ {i} - {\ hat {y}} _ {i}) ^ {2} = \ sum _ { i = 1} ^ {n} (({\ hat {y}} _ {i} - {\ bar {y}}) + \ underbrace {(y_ {i} - {\ hat {y}} _ {i })} _ {{\ hat {\ varepsilon}} _ {i}}) ^ {2} \\ & = \ sum _ {i = 1} ^ {n} (({\ hat {y}} _ { i} - {\ bar {y}}) ^ {2} +2 {\ hat {\ varepsilon}} _ {i} ({\ hat {y}} _ {i} - {\ bar {y}}) + {\ hat {\ varepsilon}} _ {i} ^ {2}) \\ & = \ sum _ {i = 1} ^ {n} ({\ hat {y}} _ {i} - {\ bar {y}}) ^ {2} + \ sum _ {i = 1} ^ {n} {\ hat {\ varepsilon}} _ {i} ^ {2} +2 \ sum _ {i = 1} ^ { n} {\ hat {\ varepsilon}} _ {i} ({\ hat {y}} _ {i} - {\ bar {y}}) \\ & = \ sum _ {i = 1} ^ {n } ({\ hat {y}} _ {i} - {\ bar {y}}) ^ {2} + \ sum _ {i = 1} ^ {n} {\ hat {\ varepsilon}} _ {i } ^ {2} +2 \ sum _ {i = 1} ^ {n} {\ hat {\ varepsilon}} _ {i} ({\ hat {\ beta}} _ {0} + {\ hat {\ beta}} _ {1} x_ {i1} + \ cdots + {\ hat {\ beta}} _ {p} x_ {ip} - {\ overline {y}}) \\ & = \ sum _ {i = 1} ^ {n} ({\ hat {y}} _ {i} - {\ bar {y}}) ^ {2} + \ sum _ {i = 1} ^ {n} {\ hat {\ varepsilon }} _ {i} ^ {2} +2 ({\ hat {\ beta}} _ {0} - {\ overline {y}}) \ underbrace {\ sum _ {i = 1} ^ {n} { \ hat {\ varepsilon}} _ {i}} _ {0} +2 {\ hat {\ b eta}} _ {1} \ underbrace {\ sum _ {i = 1} ^ {n} {\ hat {\ varepsilon}} _ {i} x_ {i1}} _ {0} + \ cdots +2 {\ hat {\ beta}} _ {p} \ underbrace {\ sum _ {i = 1} ^ {n} {\ hat {\ varepsilon}} _ {i} x_ {ip}} _ {0} \\ & = \ sum _ {i = 1} ^ {n} ({\ hat {y}} _ {i} - {\ bar {y}}) ^ {2} + \ sum _ {i = 1} ^ {n} {\ hat {\ varepsilon}} _ {i} ^ {2} = \ mathrm {ESS} + \ mathrm {RSS} \\\ end {alineado}}}$

El requisito de que el modelo incluya una constante o, de manera equivalente, que la matriz de diseño contenga una columna de unos asegura que , es decir . ${\ Displaystyle \ sum _ {i = 1} ^ {n} {\ hat {\ varepsilon}} _ {i} = 0}$${\ displaystyle {\ hat {\ varepsilon}} ^ {T} \ mathbf {1} = 0}$

La prueba también se puede expresar en forma vectorial, de la siguiente manera:

${\ Displaystyle {\ begin {alineado} SS _ {\ text {total}} = \ Vert \ mathbf {y} - {\ bar {y}} \ mathbf {1} \ Vert ^ {2} & = \ Vert \ mathbf {y} - {\ bar {y}} \ mathbf {1} + \ mathbf {\ hat {y}} - \ mathbf {\ hat {y}} \ Vert ^ {2}, \\ & = \ Vert \ izquierda (\ mathbf {\ hat {y}} - {\ bar {y}} \ mathbf {1} \ right) + \ left (\ mathbf {y} - \ mathbf {\ hat {y}} \ right) \ Vert ^ {2}, \\ & = \ Vert {\ mathbf {\ hat {y}} - {\ bar {y}} \ mathbf {1}} \ Vert ^ {2} + \ Vert {\ hat {\ varepsilon}} \ Vert ^ {2} +2 {\ hat {\ varepsilon}} ^ {T} \ left (\ mathbf {\ hat {y}} - {\ bar {y}} \ mathbf {1} \ right ), \\ & = SS _ {\ text {regresión}} + SS _ {\ text {error}} + 2 {\ hat {\ varepsilon}} ^ {T} \ left (X {\ hat {\ beta}} - {\ bar {y}} \ mathbf {1} \ right), \\ & = SS _ {\ text {regresión}} + SS _ {\ text {error}} + 2 \ left ({\ hat {\ varepsilon}} ^ {T} X \ right) {\ hat {\ beta}} - 2 {\ bar {y}} \ underbrace {{\ hat {\ varepsilon}} ^ {T} \ mathbf {1}} _ {0} , \\ & = SS _ {\ text {regresión}} + SS _ {\ text {error}}. \ End {alineado}}}$

La eliminación de términos en la última línea, utilizó el hecho de que

${\ displaystyle {\ hat {\ varepsilon}} ^ {T} X = \ left (\ mathbf {y} - \ mathbf {\ hat {y}} \ right) ^ {T} X = \ mathbf {y} ^ {T} (IX (X ^ {T} X) ^ {- 1} X ^ {T}) X = {\ mathbf {y}} ^ {T} (XX) = {\ mathbf {0}}.}$

Más particiones

Tenga en cuenta que la suma de cuadrados residual se puede dividir aún más como la suma de cuadrados de falta de ajuste más la suma de cuadrados debido al error puro.

Ver también

• Espacio interior del producto
  • Espacio Hilbert
    • Espacio euclidiano
• Cuadrados medios esperados
  • Ortogonalidad
  • Base ortonormal
    • Complemento ortogonal , el subespacio cerrado ortogonal a un conjunto (especialmente un subespacio)
    • Celosía ortomodular de los subespacios de un espacio de producto interno
    • Proyección ortogonal
  • Teorema de Pitágoras de que la suma de las normas al cuadrado de los sumandos ortogonales es igual a la norma al cuadrado de la suma.
• Mínimos cuadrados
• Error medio cuadrado
• Desviaciones cuadradas

Referencias

• Bailey, RA (2008). Diseño de Experimentos Comparativos . Prensa de la Universidad de Cambridge. ISBN 978-0-521-68357-9. Los capítulos previos a la publicación están disponibles en línea.
• Christensen, Ronald (2002). Respuestas planas a preguntas complejas: la teoría de los modelos lineales (tercera edición). Nueva York: Springer. ISBN 0-387-95361-2.
• Whittle, Peter (1963). Predicción y Regulación . Prensa de Universidades Inglesas. ISBN 0-8166-1147-5.

  Reeditado como: Whittle, P. (1983). Predicción y regulación por métodos lineales de mínimos cuadrados . Prensa de la Universidad de Minnesota. ISBN 0-8166-1148-3.

• Whittle, P. (20 de abril de 2000). Probabilidad a través de la expectativa (4ª ed.). Saltador. ISBN 0-387-98955-2.