Ley Zipf-Mandelbrot - Zipf–Mandelbrot law

Zipf – Mandelbrot

Parámetros	${\ Displaystyle N \ in \ {1,2,3 \ ldots \}}$( entero ) ( real ) ( real ) ${\ Displaystyle q \ in [0; \ infty)}$ ${\ Displaystyle s> 0 \,}$
Apoyo	${\ Displaystyle k \ in \ {1,2, \ ldots, N \}}$
PMF	${\ Displaystyle {\ frac {1 / (k + q) ^ {s}} {H_ {N, q, s}}}}$
CDF	${\ Displaystyle {\ frac {H_ {k, q, s}} {H_ {N, q, s}}}}$
Significar	${\ Displaystyle {\ frac {H_ {N, q, s-1}} {H_ {N, q, s}}} - q}$
Modo	${\ Displaystyle 1 \,}$
Entropía	${\ Displaystyle {\ frac {s} {H_ {N, q, s}}} \ sum _ {k = 1} ^ {N} {\ frac {\ ln (k + q)} {(k + q) ^ {s}}} + \ ln (H_ {N, q, s})}$

En teoría y estadística de probabilidad , la ley de Zipf-Mandelbrot es una distribución de probabilidad discreta . También conocida como ley de Pareto- Zipf, es una distribución de ley de potencias sobre datos clasificados , que lleva el nombre del lingüista George Kingsley Zipf, quien sugirió una distribución más simple llamada ley de Zipf , y del matemático Benoit Mandelbrot , quien posteriormente la generalizó.

La función de masa de probabilidad viene dada por:

${\ Displaystyle f (k; N, q, s) = {\ frac {1 / (k + q) ^ {s}} {H_ {N, q, s}}}}$

donde viene dado por: ${\ Displaystyle H_ {N, q, s}}$

${\ Displaystyle H_ {N, q, s} = \ sum _ {i = 1} ^ {N} {\ frac {1} {(i + q) ^ {s}}}}$

que puede considerarse como una generalización de un número armónico . En la fórmula, está el rango de los datos y y son parámetros de la distribución. En el límite cuando se acerca al infinito, esto se convierte en la función zeta de Hurwitz . Para finito y la ley de Zipf-Mandelbrot se convierte en la ley de Zipf . Para infinito y se convierte en una distribución Zeta . ${\ Displaystyle k}$${\ Displaystyle q}$${\ Displaystyle s}$${\ Displaystyle N}$ ${\ Displaystyle \ zeta (s, q)}$${\ Displaystyle N}$${\ Displaystyle q = 0}$${\ Displaystyle N}$${\ Displaystyle q = 0}$

Aplicaciones

La distribución de palabras clasificadas por su frecuencia en un corpus de texto aleatorio se aproxima mediante una distribución de ley de potencia , conocida como ley de Zipf .

Si se grafica el rango de frecuencia de las palabras contenidas en un corpus de datos de texto de tamaño moderado versus el número de ocurrencias o frecuencias reales, se obtiene una distribución de ley de potencias , con un exponente cercano a uno (pero ver Powers, 1998 y Gelbukh & Sidorov, 2001). La ley de Zipf asume implícitamente un tamaño de vocabulario fijo, pero la serie Armónica con s = 1 no converge, mientras que la generalización de Zipf-Mandelbrot con s > 1 sí. Además, existe evidencia de que la clase cerrada de palabras funcionales que definen un idioma obedece a una distribución Zipf-Mandelbrot con parámetros diferentes a las clases abiertas de palabras contenidas que varían por tema, campo y registro.

En los estudios ecológicos de campo, la distribución de la abundancia relativa (es decir, el gráfico del número de especies observadas en función de su abundancia) a menudo se ajusta a la ley de Zipf-Mandelbrot.

Dentro de la música, muchas métricas para medir la música "agradable" se ajustan a las distribuciones de Zipf-Mandelbrot.

Notas

Referencias

• Mandelbrot, Benoît (1965). "Teoría de la información y psicolingüística". En BB Wolman y E. Nagel (ed.). Psicología científica . Libros básicos. Reimpreso como
  • Mandelbrot, Benoît (1968) [1965]. "Teoría de la información y psicolingüística". En RC Oldfield y JC Marchall (ed.). Idioma . Libros de pingüinos.
• Powers, David MW (1998). "Aplicaciones y explicaciones de la ley de Zipf". Nuevos métodos en el procesamiento del lenguaje y el aprendizaje computacional del lenguaje natural . Conferencia conjunta sobre nuevos métodos en el procesamiento del lenguaje y el aprendizaje computacional del lenguaje natural. Asociación de Lingüística Computacional . págs. 151–160.
• Zipf, George Kingsley (1932). Estudios seleccionados del principio de frecuencia relativa en el lenguaje . Cambridge, MA: Harvard University Press.
• Van Droogenbroeck FJ, 'Una reformulación esencial de la ley Zipf-Mandelbrot para resolver las aplicaciones de atribución de autoría según las estadísticas gaussianas' (2019) [1]

enlaces externos

• ZK Silagadze: Citas y la ley de Zipf-Mandelbrot
• NIST: ley de Zipf
• Referencias de W. Li sobre la ley de Zipf
• Gelbukh y Sidorov, 2001: Los coeficientes de las leyes de Zipf y Heaps dependen del idioma
• Biblioteca C ++ para generar desvíos Zipf-Mandelbrot aleatorios.