Estadı́stica inferencial

Estimación

October 2, 2023
Estadı́stica inferencial
Estimación de parámetros

▶ Sea X una caracterı́stica medible asociada a cada uno de los

elementos de una ”población” . Por ejemplo: ingreso anual,
altura, concentración de potasio en la sangre, niveles de
glucosa etc.
▶ Se puede considerar a X como una variable aleatoria con
esperanza µ y varianza σ 2 .
▶ Los valores de µ y σ 2 se denominan media poblacional y
varianza poblacional, respectivamente.
▶ Para determinar la distribución de X , en general, se requiere
conocer los valores de sus parámetros. La idea es estimar
dichos valores.
Estadı́stica inferencial
Obtención de muestras

▶ Se diseña un experimento para proporcionar una observación

x1 de la caraterı́stica medible X .
▶ Se repite el experimento bajo las mismas condiciones para
obtener x2 .
▶ El proceso continua hasta obtener n observaciones,
x1 , x2 , . . . , xn , de X
Observación 1: Antes de registrar su valor, se considera que la
i−ésima observación es una variable aleatoria Xi . De modo que xi
es una realización de la variable aleatoria Xi , para i = 1, 2, . . . , n.
Observación 2: La distribución de cada una de las variables
aleatorias X1 , X2 , . . . , Xn es identica a la de X .
Muestra aleatoria

Definición
Decimos que la colección X1 , X2 , . . . , Xn es una muestra aleatoria,
si dichas variables aleatorias son independientes e identicamente
distribuidas, es decir, con la misma función de densidad.
Función de densidad conjunta

Densidad conjunta de variables aleatorias independientes

Sean X1 , X2 , . . . , Xn variables aleatorias cuyas funciones de
densidad son fX1 (x1 ), fX2 (x2 ), . . . , fXn (xn ), repectivamente.
Decimos que X1 , X2 , . . . , Xn son independientes si su función de
densidad conjunta puede obtenerse como el producto de sus
funciones de densidad individuales:
n
Y
fX1 ,X2 ,...,Xn (x1 , x2 , . . . , xn ) = fXi (xi )
i=1
Ejemplo

Sean X1 y X2 variables aleatorias independientes, ambas con

distribución exponencial de parámetro λ, esto es

fXi (x1 ) = λe −λxi i = 1, 2

Entonces su función de densidad conjunta es

fX1 ,X2 (x1 , x2 ) = λe −λx1 · λe −λx2

= λ2 e −λ(x1 +x2 )
Parámetros, estadı́sticas y estimadores

Parámetro
Un parámetro θ es aquel valor que describe, total o parcialmente,
la función de densidad de la variable aleatoria X estudiada en la
población.
Ejemplos:
▶ Si X ∼ Exp(2) su función de densidad está completamente
determinada
fX (x) = 2e −2x I[0,∞) (x)
▶ Los parámetros de la distribución Normal son µ y σ. Si
X ∼ N(µ = 150, σ 2 ) su función de densidad esta parcialmente
determinada
1 (x−150)2
fX (x) = √ e − 2σ
2πσ
Parámetros, estadı́sticas y estimadores

Espacio parametral
Al conjunto de todos los posibles valores de un parámetro de una
distribución de probabilidad se le llama espacio parametral y se le
denota con Θ
▶ Para la distribución Ber (θ), Θ = (0, 1)
▶ Para la distribución Bin(k, p), el parámetro es el vector (k, p)
y el espacio parametral es Θ = 1, 2, 3, . . . × (0, 1)
Parámetros, estadı́sticas y estimadores

Estadı́stica
Una estadı́stica es cualquier función de la muestra
⃗ = (X1 , X2 , . . . , Xn ) que no contiene cantidades desconocidas (p.
X
ej. los parámetros).
Ejemplos:
▶ T1 (X ) = X1 +X2 +···+Xn
n
▶ T2 (X ) = max(X1 , X2 , . . . , Xn )
√
▶ T3 (X ) = n X1 X2 · · · Xn
▶ T4 (X ) = Xn
Parámetros, estadı́sticas y estimadores

Estimador/estimación
Una estadı́stica θ̂ empleada para estimar el valor de un parámetro
desconocido θ recibe el nombre de estimador.
Una estimación de θ, es el valor especı́fico θ̂(x1 , x2 , · · · , xn ) = θ̂0
obtenido a partir de los datos muestrales.
Métodos de estimación

Los métodos de estimación se proponen encontrar una estadı́stica

que permita, a través de la muestra aleatoria X1 , X2 , · · · Xn ,
estimar el valor del parámetro θ asociado a la variable aleatoria θ.
▶ Momentos
▶ Máxima verosimilitud
Momentos

Momento poblacional
Sea k ∈ R. El k-ésimo momento de una variable aleatoria X , si
existe, es el número E (X k ).

Momento muestral
Sea k ∈ R. El k-ésimo momento de una muestra aleatoria
1 Pn
X1 , X2 , · · · Xn es la variable aleatoria n i=1 Xik .
Método de momentos

Con el fin de encontrar un estimador del o los parámetros, se

igualan los momentos poblacionales y muestrales correspondientes
y se resuelve la ecuación, o el sistema de ecuaciones, en términos
de θ.
n
1X
E (X ) = Xi
n
i=1
n
1X
E (X 2 ) = Xi2
n
i=1
..
.
n
k 1X k
E (X ) = Xi
n
i=1
Método de momentos

La idea fundamental del método se basa en las siguientes

consideraciones:
▶ La sucesión de momentos E (X ), E (X 2 ), . . . determina de
manera única a la distribución de probabilidad de la v.a. X
▶ En general, en las expresiones de estos momentos aparece el
parámetro θ.
▶ La ley de los grandes números, cuando el tamaño de
muestra n es grande, el k-ésimo momento muestral es cercano
al k-ésimo momento poblacional.
n
k 1X k
E (X ) ≈ Xi
n
i=1
Ejemplo
Sea X1 , X2 , · · · Xn muestra aleatoria de la variable X ∼ N(µ, σ 2 ).
Sabemos que

E (X ) = µ y E (X 2 ) = σ 2 + µ2

Para encontrar los estimadores de µ y σ por el método de

momentos, resolveremos

µ̂ = X̄
n
2 2 1X 2
σ̂ + µ̂ = Xi
n
i=1
Ejemplo
Sea X1 , X2 , · · · Xn muestra aleatoria de la variable X ∼ N(µ, σ 2 ).
Sabemos que

E (X ) = µ y E (X 2 ) = σ 2 + µ2

Para encontrar los estimadores de µ y σ por el método de

momentos, resolveremos

µ̂ = X̄
n
2 2 1X 2
σ̂ + µ̂ = Xi
n
i=1

Entonces

µ̂ = X̄
n n
1 X 1X n−1 2
σ̂ 2 = Xi2 − X̂ 2 = (Xi − X̂ )2 = S
n n n
i=1 i=1
Ejemplo 2
Sea X ∼ Unif (−θ, θ), donde θ > 0.

Como E (X ) = 0, la igualación de los primeros momentos no

provee un estimador.

Entonces se usa el segundo momento para obtener el estimador

n
1X 2
E (X 2 ) = θ2 /3 = Xi
n
i=1

Ası́, el estimador por el método de momentos es

v
u n
u3 X
θ̂ = t Xi2
n
i=1
Método de máxima verosimilitud

Función de verosimilitud
La función de verosimilitud de un vector aleatorio (X1 , . . . , Xn ),
cuya distribución depende de un parámetro θ, se define como la
función de densidad o de probabilidad conjunta

L(θ) = fX1 ,X2 ,...,Xn (x1 , x2 , . . . , xn ; θ)

Log-verosimilitud
Al logaritmo natural de la función de verosimilitud se le conoce
como función de log-verosimilitud y se denota como l(θ)

l(θ) = ln{L(θ)}
Ejemplo

Sea X1 , X2 , · · · Xn muestra aleatoria de la variable X ∼ Exp(θ)

La función de verosimilitud es

L(θ) = fX1 ,X2 ,...,Xn (x1 , x2 , . . . , xn ; θ)

= fX1 (x1 )Xn (xn )
= θe −θx1 · · · θe −θxn
Pn
= θn e −θ i=1 xi

= θn e −θnX̄

La log-verosimilitud es

l(θ) = lnθn e −θnX̄ = nlnθ − θnX̄

Método de máxima verosimilitud

El método de máxima verosimilitud consiste en encontrar el

valor de θ en donde L(θ) alcanza su máximo.
A dicho valor se le llama estimación de máxima verosimilitud o
estimación máximo verosı́mil y se denota como θ̂MV

Observación: Maximizar L(θ), es equivalente a maximizar l(θ), ya

que la función logaritmo es monótona.
Ejemplo

Sea X1 , X2 , · · · Xn muestra aleatoria de la variable X ∼ Exp(θ).

Se tiene que
l(θ) = nlnθ − θnX̄
Maximizamos dicha función para obtener el estimador máximo
verosı́mil
∂l(θ) n
= − nX̄ = 0
∂θ θ
∂ 2 l(θ)
Ya que ∂θ2
= − θn2 < 0, entonces el estimador máximo verosı́mil
de θ
1
θ̂MV =
X̄
Ejemplo
No existencia del máximo
Sea X1 , X2 , · · · Xn muestra aleatoria de la variable X ∼ Unif (0, θ),
con θ > 0. La función de verosimilitud es
n
Y 1
L(θ) = I(0,θ) (xi )
θ
i=1
1
= I (θ)I(0,∞) (x(1) )
θn (x(n) ,∞)
La cual no alcanza un valor máximo
Estimación de funciones parametrales

Sea θ un parámetro o vector de parámetros de una distribución. A

cualquier función θ → τ (θ) se le llama función parametral.

Se desea encontrar el estimador máximo verosı́mil de τ (θ).

Supongamos que τ (θ) es biyectiva y sea η = τ (θ), por tanto

θ = τ −1 (η).

L(θ) = L(τ −1 (η)) = L(τ −1 (τ (θ))) = L∗ (τ (θ)) = L∗ (η)

Encontrar el máximo de L(θ) es encontrar el máximo de L∗ (η).

Si L(θ) alcanza su máximo en θ̂, entonces L∗ (η) tiene un máximo

en η̂ = τ (θ̂)
Estimación de funciones parametrales

Función de verosimilitud y
Estimador máximo verosı́mil para τ (θ)
La función de verosimilitud asociada a τ (θ), una función
parametral, se define de la forma siguiente: si η = τ (θ)

L∗ (η) = sup L(θ)

θ∈τ −1 (η)

Al posible valor η̂ que maximiza L∗ (η) se le llama el estimador

máximo verosı́mil para τ (θ).
Estimación de funciones parametrales

Principio de invarianza de los estimadores MV

Si θ̂ es el estimador máximo verosı́mil para un parámetro θ,
entonces el estimador máximo verosı́mil para τ (θ) es τ (θ̂).

Sea η̂ que maximiza a L∗ (η) entonces

L∗ (η̂) = max L∗ (η)

η
= max sup L(θ)
η θ∈τ −1 (η)

= max L(θ) = L(θ̂)

θ

Además
L(θ̂) = sup L(θ) = L∗ (τ (θ̂))
{θ|τ (θ)=τ (θ̂)}

Entonces η̂ = τ (θ̂)
Ejemplo

Sea X1 , X2 , · · · Xn muestra aleatoria de la variable X ∼ Ber (θ). Se

encontró que θ̂MV = X̄ .

Enconces X̄ (1 − X̄ ) es el estimador máximo verosı́mil de la

varianza, la función parametral, θ(1 − θ)
Propiedades de los estimadores

Una propiedad deseable de este estimador es que el promedio de

los valores que puede tomar coincida con el verdadero valor del
parámetro, es decir, que la esperanza del estimador sea el
parámetro, en otras palabras que sea un estimador insesgado.
Propiedades de los estimadores
Insesgamiento
Sea θ̂ una estimación del parámetro desconocido θ asociado con la
distribución de la variable aleatoria X . Se dice que θ̂ es un
estimador insesgado para θ si

E (θ̂) = θ

Ejemplo
Sea X1 , X2 , X3 una muestra aleatoria de tamaño n = 3 de la
distribución Poisson(λ), con λ > 0 desconocida.
1. λ̂1 = X1
X1 +2X2
2. λ̂2 = 3
X1 +2X2 +3X3
3. λ̂3 = 6
X(1) +X(2) +X(3)
4. λ̂3 = 3
Propiedades de los estimadores

Insesgamiento para funciones parametrales

Sea θ un parámetro o un vector de parámetros y sea g (θ) una
función parametral. Una estadı́stica T es un estimador insesgado
para g (θ) si
E (T ) = g (θ)

Ejemplo
Sea X1 , X2 , . . . , Xn una muestra aleatoria de la distribución
Unif (a, b).
a+b
1. X̄ es un estimador de la función 2
b−a
2. S 2 es un estimador de la función parametral 12
Funciones de estimadores insesgados
Observación: En general E (g (θ)) ̸= g (E (θ))
Ejemplo
Sea X1 , X2 , . . . Xn una muestra aleatoria de la distribución
Poisson(λ). Aunque λ̂ = X̄ es un estimador insesgado de λ, no se
cumple que λ̂2 sea estimador insesgado de λ.

Xi 2
P 
2
E (λ̂ ) = E
n
n
1 X 2 1 X
= E (Xi ) + E (Xi Xj )
n2 n2
i=1 i̸=j
n n(n + 1) 2
= 2
(λ + λ2 ) + (λ )
n n2
λ
= + λ2 ̸= λ2
n
Propiedades de los estimadores

Insesgamiento asintótico
Una estadı́stica θ̂n , basada en una muestra aleatoria de tamaño n,
es un estimador asintóticamente insesgado para un parámetro θ si

lim E (θ̂n ) = θ
n→∞
Propiedades de los estimadores

Pedir que el estimador sea insesgado no es suficiente.

Propiedades de los estimadores

Consistencia
Sea θ̂n un estimador para θ. Se dice que θ̂n es consistente para θ si
θ̂n → θ en probabilidad, cuando n → ∞, es decir

lim P(|θ̂n − θ| > ϵ) = 0

n→∞

Criterio para consistencia

Sea θ̂n un estimador para θ. Si
1. limn→∞ E (θ̂n ) = θ
2. limn→∞ Var (θ̂n ) = 0
entonces θ̂n es consistente.
Propiedades de los estimadores

Estimador UMVUE
Decimos que θ̂ es el mejor estimador insesgado de θ si
1. E (θ̂) = θ
2. θ̂ = ni=1 ai Xi
P

3. Var (θ̂) ≤ Var (θ∗) donde θ∗ es cualquier otro estimador de θ

que satisface 1. y 2.