Estimación puntual

Universidad de Valparaiso

30 Setiembre, 2019

(University of Valparaiso CLT) 30 Setiembre, 2019 1 / 53

1 Estimadores suficientes
Criterio de factorización

2 Suficiencia minimal

3 Estimador insesgado de varianza mı́nima (EIVM)

Estimador insesgado de varianza uniformemente mı́nima EIVUM
Teorema de Rao-Blackwell
Completitud
Teorema de Lehman-Scheffé

(University of Valparaiso CLT) 30 Setiembre, 2019 2 / 53

Estimación puntual

La estimación puntual busca un estimador que, con base en los datos

muestrales, de origen a una estimación univaluada del valor del parámetro
. La función de densidad e probabilidad en la distribución de la población
de interés se denotará por f (x; θ), donde la función depende de un
parámetro arbitrario θ,

(University of Valparaiso CLT) 30 Setiembre, 2019 3 / 53

Estimadores insesgados

Se dice que la estadı́stica T = u(X1 , X2 , ..., Xn ) es un estimador insesgado

del parámetro θ, si E (T ) = θ para todos los posible valores de θ. De esta
forma, par cualquier estimador insesgado de θ y ECM(T ) = Var (T )

(University of Valparaiso CLT) 30 Setiembre, 2019 4 / 53

Estimadores consistentes

un buen estimador de un parámetro θ sea cada vez mejor conforme crece

el tamaño de la muestra. esto es, conforme la información en una muestra
aleatoria se vuelve mpas completa, la distribución de muestreo de un buen
estimador se encuentra cada vez más concentrada alrededor del parámetro
θ
Definición: Sea T el estimador de un parámetro θ, y sea
T1 , T2 , ..., Tn una secuencia de estimadores que representa a T con
base en muestras de tamaño 1, 2, ..., n respectivamente. se dice que
T es un estimador consistente(sencillo) para θ si

limn→∞ P(|Tn − θ) ≤ ) = 1

para todos los valores de θ y  > 0.

(University of Valparaiso CLT) 30 Setiembre, 2019 5 / 53

Estimadores suficientes

Un estimador θ̂ es suficiente si utiliza toda la información de una muestra

relevante para la estimación del parámetro θ de la población.
La estadı́stica θ̂ es un estimador suficiente del parámetro θ si y sólo si para
cada valor de θ̂ la distribución condicional de la muestra aleatoria
x1 , x2 , ..., xn dada θ̂ = θ̂ es independiente de θ.

f (x1 , x2 , ..., xn , θ̂) f (x1 , x2 , ..., xn )

f (x1 , x2 , ..., xn , |θ̂) = =
g (θ̂) g (θ̂)

(University of Valparaiso CLT) 30 Setiembre, 2019 6 / 53

Estimadores suficiente: ejemplo

1. Si x1 , x2 , ..., xn son variable aleatorias de Bernoulli independientes con

el mismo parámetro θ, demuestre que la estadı́stica θ̂ = x/n, donde
x = x1 + x2 + ... + xn , es un estimador suficicente de θ.

(University of Valparaiso CLT) 30 Setiembre, 2019 7 / 53

Estimadores suficientes: Definiciones

Sean y1 , y2 , ..., yn observaciones muestrales para las variables aleatorias

correspondientes Y1 , Y2 , ..., Yn . Entonces si Y1 , Y2 , ..., Yn son variables
aleatorias discretas, la (factibilidad) la posibilidad, L = L(y1 , y2 , ..., yn ) se
define como la probabilidad conjunta de y1 , y2 , ..., yn . Si Y1 , Y2 , ..., Yn son
variables aleatorias continuas, la verosimilitud L(y1 , y2 , ..., yn ) se define
como la densidad conjunta evaluada en y1 , y2 , ..., yn
Las observaciones Y1 , Y2 , ..., Yn de una muestra aleatoria de
distribución discreta con la función de probabilidad p(y ) ,es:

L(y1 , y2 , ..., yn ) = P(Y1 = y1 , ..., Yn = yn ) = p(y1 )...p(yn )

(University of Valparaiso CLT) 30 Setiembre, 2019 8 / 53

Estimadores suficientes: Definiciones

Para observaciones Y1 , Y2 , ..., Yn que tienen una distrbución continua

con función de densidad f (y ),entonces:

L(y1 , y2 , ..., yn ) = f (y1 , y2 , ..., yn ) = f (y1 )...f (yn )

Para simpificar se puede escribir L en vez de L(y1 , y2 , ..., yn )

(University of Valparaiso CLT) 30 Setiembre, 2019 9 / 53

Estimadores suficientes: Definiciones

Teorema (Criterio de factorización): La estadı́stica θ̂ es un

estimador suficiente del parámetro de θ si y sólo si la densidad
conjunta o distribución de probabilidad de la muestra aleatoria se
puede factorizar de manera que

f (y1 , y2 , .., yn ; θ) = g (θ̂, θ).h(y1 , y2 , ..., yn )

donde g (θ̂, θ) depende sólo de θ̂ y θ, y h(y1 , y2 , ..., yn ) no depende de

θ

(University of Valparaiso CLT) 30 Setiembre, 2019 10 / 53

Estimadores suficientes: ejemplo

2. Sea Y1 , Y2 , ..., Yn una muestra aleatoria en donde Yi posee la función

de densidad de probabilidad f (yi ) = ( α1 e −yi /α ), 0 ≤ yi ≤ ∞,
i = 1, 2, ..., n. Demostrar que Ȳ es un estadı́stico suficiente para la
estimación de α.

(University of Valparaiso CLT) 30 Setiembre, 2019 11 / 53

Estimadores suficientes: ejemplo

3. Demuestre que la estadı́stica x̄ es un estimador suficiente de la media

µ de una población normal con la varianza conocida σ 2

(University of Valparaiso CLT) 30 Setiembre, 2019 12 / 53

Estimadores suficientes: ejemplo

4. Supongase que X1 , .., Xn constituyen una muestra aleatoria de una

distribución
P de Poisson con media θ desconocida (θ > 0). Demostrar
que T = ni=1 xi es un estadı́stico suficiente para θ.

(University of Valparaiso CLT) 30 Setiembre, 2019 13 / 53

Estimadores suficientes: ejemplo

5. Suponga que X1 , .., Xn constituye una muestra aleatoria deuna

distribución continua con la f.d.p. siguiente:
(
θx θ−1 , para 0 < x < 1,
f (x|θ) =
0, en otro caso ,

Suponga que el valor del parámetro θ es desconocido

(θ > 0).Demostrar que T = Πni=1 xi es un estadı́stico suficiente para θ.

(University of Valparaiso CLT) 30 Setiembre, 2019 14 / 53

Estimadores suficientes: ejemplo

6. Suponga que X1 , .., Xn constituye una muestra aleatoria de una

distribución normal con 2
Pnmedia µ desconocida y varianza σ conocida.
Demostrar que T = i=1 xi es un estadı́stico suficiente para µ.

(University of Valparaiso CLT) 30 Setiembre, 2019 15 / 53

Estimadores suficientes: ejemplo

7. Suponga que X1 , .., Xn constituye una muestra aleatoria de una

distribución uniforme sobre el intervalo (0, θ) donde el valor del
parámetro θ es desconocido (θ > 0). Demostrar que
T = max(x1 , ..., xn ) es un estadı́stico suficiente para θ.
(
1
, para 0 ≤ x ≤ θ,
f (x|θ) = θ
0, en otro caso ,

(University of Valparaiso CLT) 30 Setiembre, 2019 16 / 53

Estimadores suficientes: ejemplo

8. Sea X1 , .., Xn una muestra aleatoria de tamaño n de la distribución

geométrica.

px (k; p) = (1 − p)k−1 , k = 1, 2, ...

demostrar que p̂ = ni=1 xi es suficiente para p.

P

(University of Valparaiso CLT) 30 Setiembre, 2019 17 / 53

Estimadores suficientes: ejemplo

9. Suponga que X1 , .., Xn constituye una muestra aleatoria de una

distribución gama con parámetros α y β, donde el valor de β es
conocido
P y el α es desconocido (α > 0). Demostrar que el estadı́stico
T = ni=1 logXi es un estadı́stico suficiente para el parámetro α.

(University of Valparaiso CLT) 30 Setiembre, 2019 18 / 53

Estimadores suficientes: ejemplo

10. Si X1 y X2 son variables aleatorias independientes que tienen

distribuciones de Poisson con el mismo parámetro λ, demuestre que
su media es un estimador suficiente de λ.

(University of Valparaiso CLT) 30 Setiembre, 2019 19 / 53

Suficiencia minimal

Un estadı́stico T es suficiente minimal si es suficiente y entre todos los

estadı́sticos suficientes, es aquél que produce mayor reducción en los datos.
Sea f (x; θ) la función de densidad o masa de probabilidad de X1 , ...Xn .
Suponga que existe una función T (X ) tal que, para dos puntos muestrales
x e y , la relación

f (x; θ)
f (y ; θ)
es constante con respecto a θ ⇔ T (x) = T (y ). Entonces T (X ) es un
estadı́stico suficiente para θ

(University of Valparaiso CLT) 30 Setiembre, 2019 20 / 53

Suficiencia minimal: ejercicios

1. Sea X1 , ..., Xn unaP

muestra aleatoria con distribución binaria.
Encontrar si T = ni=1 xi es suficiente minimal.

(University of Valparaiso CLT) 30 Setiembre, 2019 21 / 53

Suficiencia minimal: ejercicios

2. Sea X1 , ..., Xn una muestra aleatoria proveniente de una variable

aleatoria X con distribución normal (µ, σ 2 ) . Asuma que µ y σ 2 son
desconocidos.

(University of Valparaiso CLT) 30 Setiembre, 2019 22 / 53

Suficiencia minimal: ejercicios

3. Sea X1 , ..., Xn una muestra aleatoria

P de la distribución Bernoulli (θ)
0 < θ < 1 . Demostrar que T = ni=1 xi y T = x̄ son suficentes
minimales.

(University of Valparaiso CLT) 30 Setiembre, 2019 23 / 53

Suficiencia minimal: ejercicios

1.

(University of Valparaiso CLT) 30 Setiembre, 2019 24 / 53

Suficiencia minimal en la familia exponencial

Supongamos que X1 , ..., Xn son iid con función de densidad perteneciente

a la familia exponencial y definida por
k
X
f (x; θ) = exp{ cj (θ)Tj (x) − d(θ) + R(x)}IA (x)
j=1

Con c1 , ..., ck , d funciones reales definidas en θ y T1 , ..., Tk , R

funciones reales definidas en Rn . Entonces, el estadı́stico
T = (T1 , ..., Tk ) es minimal suficiente para θ

(University of Valparaiso CLT) 30 Setiembre, 2019 25 / 53

Estimador insesgado de varianza mı́nima (EIVM)

Si se considera todos los estimadores insesgados de θ, el que tiene la

menor varianza recibe el nombre de estimador insesgado de varianza
mı́nima (EIVM) y se conoce como EIVUM , al estimador insesgado de
varianza mı́nima uniforme para todo θ

(University of Valparaiso CLT) 30 Setiembre, 2019 26 / 53

EIVUM

Un estimador T ∗ es el mejor estimador insesgado de g (θ) si satisface

Eθ (T ∗) = g (θ) para todo θ y para cualquier otro estimador T con
esperanza Eθ (T ) = g (θ), se verifica que:

VARθ (T ∗) ≤ VARθ (T )

Para todo θ. El estimador T ∗ recibe el nombre de estimador insesgado de

varianza uniformemente mı́nima (EIVUM).

(University of Valparaiso CLT) 30 Setiembre, 2019 27 / 53

EIVUM

Comentario: En general, el teorema de la desigualdad de Cramér-Rao se

utiliza en dos direcciones:
La desigualdad de Cramér-Rao, proporciona una cota inferior para la
varianza de los estimadores insesgados. En este contexto, si un
investigador utiliza un estimador insesgado cuya varianza es cercana
(cerrada) a la cota inferior de Cramér-Rao, el deberı́a saber que esta
usando un buen estimador insesgado.
Si un estimador insesgado cuya varianza coincide con la cota inferior
de Cramér-Rao, entonces ese estimador es un EIVUM

(University of Valparaiso CLT) 30 Setiembre, 2019 28 / 53

Estimador de mı́nima varianza: cota inferior de
Cramér-Rao

Sea fy (y ; θ) un pdf continuo con derivadas continuas de primer orden y de

segundo orden. Además, suponga que el conjunto de valores y , donde
fy (y ; θ) 6= 0, no depende de θ. Luego
"  #
∂lnfY (Y ; θ) 2 −1
 2 
∂ lnfY (Y ; θ) −1
Var (θ̂) ≥ {nE } = {−nE }
∂θ ∂θ2

(University of Valparaiso CLT) 30 Setiembre, 2019 29 / 53

EIVUM: ejemplo

1. Suponga que X1 , ..., Xn representa una muestra aleatoria proveniente

de una variable aeatoria que sigue una distribución de Poisson con
media (parámetro) λ.
Defina los estimadores T1n = X̄ y T2n = 12 n−1 Xi Xn
P
i=1 n−1 + 2
Determine si los estimadores T1n y T2n son insesgados y compare sus
varianzas en términos de la cota inferior de Cramér-Rao

(University of Valparaiso CLT) 30 Setiembre, 2019 30 / 53

EIVUM

2. Suponga que X1 , ..., Xn denota el número de exitos(0 o 1) en cada

ensayo independiente n, donde p = P (el éxito ocurre en cualquier
prueba dada) es un parámetro desconocido

pXi (k; p)p k (1 − p)1−k , k = 0, 1 0<p<1

determine si los estimadores son insesgados y compare sus varianzas

en términos de la cota inferior de Crámer-Rao.

(University of Valparaiso CLT) 30 Setiembre, 2019 31 / 53

EIVUM

3. Consideramos como parámetro de interes θ = 1/λ, la media de la

distribución:
1
f (x; θ) = e −x/θ , para x > 0
θ
aquı́ θ = (0, +∞)
determine si los estimadores son insesgados y compare sus varianzas
en términos de la cota inferior de Crámer-Rao.

(University of Valparaiso CLT) 30 Setiembre, 2019 32 / 53

Teorema de Rao-Blackwell

Sea X y Y variables aleatorias con E (Y ) = µ y Var (Y ) = σy2 < +∞. Sea

ϕ = E (Y |X = x). Además Eϕ (X ) = µ, y Var ϕ(X ) ≤ σy2 con igualdad si
P[Y = ϕ(X )] = 1
La aplicación del teorema de Rao-Blackwell para reducir la varianza de
un estimador insesgado mediante el uso de una estadı́stica suficiente.
Teorema mejorado de Rao-Blackwell: Sea T una estadı́stica
suficiente para θ y U un estimador insesgado para θ (que no es una
función de T solamente). Luego

ϕθ (t) = Eθ (U T = t)

(University of Valparaiso CLT) 30 Setiembre, 2019 33 / 53

Teorema de Rao-Blackwell

Es de hecho que no es una función de θ ( por tanto, podemos usar

ϕ(T ) como un estimador de θ) y:
Eθ ϕ(T ) = θ, Varθ ϕ(T ) < Varθ U.

(University of Valparaiso CLT) 30 Setiembre, 2019 34 / 53

Teorema de Rao-Blackwell

Supongamos que W = W (X ) es un estimador insesgado de τ (θ) y

que S = S(X ) es un estadı́stico suficiente para θ. Es posible mostrar
que otro estimador insesgado denotado pr W 0 se puede obtener a
partir de W tal que:
W 0 es función del estadı́stico suficiente S y
W 0 es un estimador insesgado de τ (θ) con varianza menor o igual d la
varianza de ”W ”.
El propósito es determinar un estimador (EIVUM) de varianza
uniformemente mı́nima que sean funciones de estadı́sticas suficientes.

(University of Valparaiso CLT) 30 Setiembre, 2019 35 / 53

Teorema de Rao-Blackwell

Sea X1 , ..., Xn una muestra aleatoria proveniente de una variable

aleatoria X con función de densidad(ó masa) de probabilidad f (x|θ);
y sea S1 = S(X ), ..., Sk = Sk (X ) un conjunto de estadı́sticos
”conjuntamente” suficientes. Sea un estadı́stico W = W (X ) un
estimador insesgado de τ (θ), y define:

W 0 = E [W |S1 , ..., Sk ]

Entonces,
W 0 es un estadı́stico y es función de los estadı́sticos suficientes
S1 , ..., Sk (será denotado por W 0 = W 0 (S1 , ..., Sk )).

(University of Valparaiso CLT) 30 Setiembre, 2019 36 / 53

Teorema de Rao-Blackwell

El valor Eθ [W 0 ] = τ (θ) esto es W 0 es un estimador insesgado de τ (θ)

La varianza VARθ (W 0 ) ≤ VARθ (W ) ∀θ, y la varianza
VARθ (W 0 ) < VARθ (W ) para algún θ, a menos que W = W 0 con
probabilidad 1.

(University of Valparaiso CLT) 30 Setiembre, 2019 37 / 53

Teorema de Rao-Blackwell

Observación 1: En muchas aplicaciones (especialmente cuando

onsideramos funciones de densidad o masa con apenas un parámetro
desconocido) existirá un único estadı́stico suficiente que será utilizado en
lugar de un conjunto de estadı́sticos suficientes. Lo que el teorema
establece, que dado un estimador insesgado es posible obtener otro
estimador insesgado que sea función de un estadı́stico suficiente y no
posea mayor varianza.

(University of Valparaiso CLT) 30 Setiembre, 2019 38 / 53

Teorema de Rao-Blackwell

Observación 2: El teorema de Rao-Blackwell nos dice como mejorar un

estimador insesgado a través del condicionamiento de un estadı́stico
suficiente para algunos problemas de estimación tal estimador insesgado,
que se obtiene por el condicionamiento de la estadı́stica suficiente,será un
EIVUM en algunos casos. Para facilitar la identificación de los problemas
de estimación en los cuales los estimadores que se obtienen son EIVUM, el
concepto de completitud de una familia de densidad es útil.

(University of Valparaiso CLT) 30 Setiembre, 2019 39 / 53

Teorema de Rao-Blackwell: ejemplo

1. Sea X1 , ..., Xn una muestra aleatoria proveniente de una variable

aleatoria x con distribución binomial (1, θ) con función de masa de
probabilidad dada por:

f (x|θ) = θx (1 − θ)1−x I{0,1} (x)

Utilice el teorema de Rao-Blackwell para encontrar un estimador

insesgado W 0 , cuya varianza sea menor que la de la
Pvarianza del
estimador insesgado W . Además se sabe que s = ni=1 Xi es un
estadı́stico suficiente para θ

(University of Valparaiso CLT) 30 Setiembre, 2019 40 / 53

Teorema de Rao-Blackwell: ejemplo

2. Si X1 , X2 , ..., Xn es una muestra aleatoria de tamaño

Pnn de una
distribución de Poisson con parámetro µ. Además i=1 Xi es un
estadı́stico suficiente para µ. Encontrar EIVUM de µ. Aplique el
teorema de Rao-Blackwell.

(University of Valparaiso CLT) 30 Setiembre, 2019 41 / 53

Teorema de Rao-Blackwell: ejemplo

3. Sea X1 , X2 , ..., Xn muestra aleatoria simple de X ∼ Poisson(λ).

Queremos estimar θ = τ (λ) = e −λ . Sabemos que T (X ) = ni=1 Xi
P
es estadı́stico suficiente para λ. Observemos además que
P(X1 = 0) = e −λ y por tanto el estimador W (X ) = I {X1 = 0} es un
estimador insesgado de θ. Utilice el teorema de Rao- Blackwell.

(University of Valparaiso CLT) 30 Setiembre, 2019 42 / 53

Estadı́stico completo

Sea f (t|θ) una familia de funciones de densidades (o masa) de

probabilidad para un estadı́stico T (X ). La familia de distribuciones de
probabilidad recibe el nombre de completa si Eθ {g (T )} = 0∀θ implica
P{g (T ) = 0} = 1 ∀θ. Equivalente T (X ) recibe el nombre de estadı́stico
completo.
Teorema: Si la familia de dstribuciones {f (x|θ), θ ∈ Θ} es completa,
entonces cualquier estimador insesgado del parámetro g (θ) es único.

(University of Valparaiso CLT) 30 Setiembre, 2019 43 / 53

Estadı́stico completo

Observación: El concepto de completitud pertenece a una familia de

distribuciones.
Intuitivamente podemos decir que un estimador insesgado de cero es una
variable aleatoria identicamente igual a cero.

(University of Valparaiso CLT) 30 Setiembre, 2019 44 / 53

Estadı́stico completo: Ejemplo

1. Sea X1 , ..., Xn una muestra aleatoria proveniente de una variable

P binomial de parámetro θ ∈ [0, 1].
aleatoria con una distribución
Defina el estadı́stico T = ni=1 Xi y verifique si este es completo.

(University of Valparaiso CLT) 30 Setiembre, 2019 45 / 53

Estadı́stico completo: Ejemplo

2. Sea X1 , X2 una muestra aleatoria proveniente de una variable

aleatoria con una distribución Bernoulli de parámetro θ. Defina el
estadı́stico T = X1 − X2 y verifique si este es completo.

(University of Valparaiso CLT) 30 Setiembre, 2019 46 / 53

Estadı́stico completo: Ejemplo (caso continuo)

3. Cuando consideramos una muestra aleatoria proveniente de una

variable aleatoria con distribución uniforme en el intervalo [0, θ],
podemos probar que Tn = max{X1 , ..., Xn } es un estadı́stico suficiente
y su función de densidad denotada por f (T |θ) esta dado por:
( n−1
nt
θn , 0 ≤ t ≤ θ;
f (t|θ) =
0, en otro caso ,

(University of Valparaiso CLT) 30 Setiembre, 2019 47 / 53

Teorema de Lehman-Scheffé

Sea X1 , ..., Xn una muestra aleatoria de una variable aleatoria X con

función de densidad (o masa) de probabilidad f (x|θ). Si S = S(X ) es un
estadı́stico suficiente y completo, y si W ∗ = W ∗ (S) es una función de S y
un estimador insesgado de τ (θ), entonces W ∗ es un EIVUM para τ (θ).
a. Si un estadı́stico suficiente completo existe, digamos S y si el es un
estimador insesgado para τ (θ), entonces este es un EIVUM para τ (θ)
b. El EIVUM es el único estimador insesgado de τ (θ) que es función de
S.

(University of Valparaiso CLT) 30 Setiembre, 2019 48 / 53

Teorema de Lehman-Scheffé

1. Sea X1 , ..., Xn una muestra aleatoria proveniente de una variable

aleatoria x con distribución de Poisson de parámetro λ. Obtenga un
EIVUM para las siguientes funciones de θ
a) τ (θ) = θ = λ
b) τ (θ) = e −θ = e −λ = P(Xi = 0)

(University of Valparaiso CLT) 30 Setiembre, 2019 49 / 53

Teorema de Lehman-Scheffé

2.

(University of Valparaiso CLT) 30 Setiembre, 2019 50 / 53

Teorema de Lehman-Scheffé

3.

(University of Valparaiso CLT) 30 Setiembre, 2019 51 / 53

Teorema de Lehman-Scheffé

4.

(University of Valparaiso CLT) 30 Setiembre, 2019 52 / 53

 ¡Gracias!

(University of Valparaiso CLT) 30 Setiembre, 2019 53 / 53