Curso Inferencia

Estad stica Miguel Angel Chong R. miguel@sigma.iimas.unam.mx

1 de octubre del 2012

Miguel Chong

Inferencia

Denici on Estad stico suciente Un estad stico es suciente respecto al par ametro si la distribuci on de probabilidad de la muestra X = (X1 , . . . , Xn ) condicionada al estad stico t (X1 , . . . , Xn ) no depende del par ametro , es decir

P ((X1 , . . . , Xn ) |T (X1 , . . . , Xn ) = t ) =

P ((X1 , . . . , Xn ) , T (X1 , . . . , Xn ) = t ) P (T (X1 , . . . , Xn ) = t )

no depende de

Teorema de Factorizaci on Una condici on necesaria y suciente para que el estad stico T (X ) sea suciente, es que la funci on de verosimilitud de la muestra la podamos escribir de la siguiente forma

L( ; X ) =

n Y i =1

f ( xi ; ) = g ( T ( X ) ; ) h ( X )

donde g (T (X ) ; ) depende del par ametro y de la muestra, a trav es del estad stico T (X ), y h(X ) no depende de .
Miguel Chong Inferencia

Teorema Los estad sticos T1 (X ) y T2 (X ) son conjuntamente sucientes para 1 y 2 respectivamente si solo si L(1 , 2 ; X ) = g (T1 (X ) , T2 (X ) ; 1 , 2 ) h(X) donde g (T1 (X ) , T2 (X ) ; 1 , 2 ) depende de los par ametro 1 y 2 y de la muestra, a trav es de los estad sticos T1 (X ) y T2 (X ) y h(X ) no depende de . Denici on Estad stico suciente y minimal Un estimador es suciente minimal, si es suciente y cualquier reducci on de la informaci on denida por el ya no es suciente, es decir desprecia informaci on que est a contenida en la muestra, acerca del par ametro .

Miguel Chong

Inferencia

Existe un m etodo general debido a Lehmann y She e para encontrar estad stico(s) suciente(s) minimal(es), este m etodo supone la existencia de dos muestras aleatorias de tama no n, X = (X1 = x1 , . . . , Xn = xn ) y Y = (Y1 = y1 , . . . , Yn = yn ), y se calcula el cociente de sus verosimilitudes, es decir Qn f ( xi ; ) L( ; X ) g (T (X ) ; ) h (X ) Qin=1 = = . L( ; X ) g (T (Y ) ; ) h (Y ) i =1 f (yi ; )

Para que esta u ltima igualdad no dependa del par ametro necesitamos que g (T (X ) ; ) = g (T (Y ) ; ) , y entonces diremos que T (X ) es suciente y minimal para .

Miguel Chong

Inferencia

La familia exponencial Existe una clase o familia de distribuciones en la que todos los par ametros de las distribuciones que la integran tienen estad sticos sucientes. Este grupo de distribuciones recibe el nombre de familia exponencial de distribuciones, y como veremos ser a bastante f acil obtener estad sticos sucientes para conseguir informaci on acerca del par ametro correspondiente.

Miguel Chong

Inferencia

Denici on Familia exponencial de distribuciones uniparam etrica. Diremos que una familia de distribuciones es exponencial uniparam etrica si la forma de la funci on de masa de probabilidad P (X = x ) en el caso discreto o la densidad densidad f (x ; ) se puede factorizar de la siguiente forma

f (x ; ) = a () b (x ) ec ()d (x ) , donde: a () y c () son funciones reales de y b (x ) y d (x ) son funciones reales de x .

Miguel Chong

Inferencia

A partir de un elemento de la familia exponencial podemos encontrar estimadores sucientes y minimal usando el m etodo de Lehmann y Sche e para obtener un estad stico suciente y minimal de la familia exponencial Supongamos que tenemos dos muestras (X1 , . . . , Xn ) (Y1 , . . . , Yn ) . Notemos que la verosimilitud con respecto a la primera muestra la podemos escribir como
n Y i =1

L (x1 , . . . , xn ; )

f (x1 , . . . , xn ; ) =
n Y i =1

f (xi ; )

a ( ) b (xi ) ec ()d (xi )

a n ( )

n Y i =1

c ( )

d (xi )

b ( xi ) e

De forma an aloga tenemos que para la segunda muestra

L (y1 , . . . , yn ; )

a n ( )

n Y i =1

c ( )

d (yi )

b ( yi ) e

Miguel Chong

Inferencia

Por lo tanto el cociente de verosimilitudes queda como

L (x1 , . . . , xn ; ) L (y1 , . . . , yn ; )

a n ( )

Qn Qn

c ( )

d (x i )

i =1 b (xi ) e c ( )

a n ( )

i =1

b ( yi ) e
c ( ) n X i =1

n X i =1

d (yi )

.
n X i =1 d (yi )

entonces el cociente de verosimilitudes no depender a de , siempre que n n n n X X X X d (xi ) d (yi ) = 0, o equivalentemente si d (xi ) = d (yi ), y por lo tanto
n X i =1 i =1 i =1 i =1 i =1

Qn b (xi ) Qin=1 e i =1 b (yi )

d (xi )

d (xi ) es el estad stico suciente y minimal.

Miguel Chong

Inferencia

La propiedad de suciencia en un estimador juega un papel muy importante en dos teoremas que veremos a continuaci on, dichos teoremas buscan obtener estimadores con varianzas menores, y bajo cierta condici on podemos encontrar estimador es insesgados de m nima varianza (UMVUE).

Miguel Chong

Inferencia

Teorema de Rao-Blackwell un estimador Sea una poblaci on con funci on de densidad f (x ; ) y sea insesgado para el par ametro y T un estad stico suciente del mismo par ametro . Entonces si hacemos: g (T ) se verica:
1 2 3

h i |T E

Es decir, el estad stico g (T ) es funci on del estad stico suciente, es un estimador insesgado de y su varianza es menor que la del estimador . insesgado Notemos que aunque Var (g (T )) tiene menor varianza no podemos asegurar que alcanza la CICR, para poder garantizar que la alcanza hay que pedir que el estad stico g (T ), sea completo. A continuaci on deniremos que entenderemos por completez.
Miguel Chong Inferencia

g (T ) es un estad stico que es funci on del estad stico suciente. g (T ) es insesgado para , es decir que E [g (T )] = . . Var (g (T )) Var

Una buena es, por qu e en el Teorema de Rao Blackwell el nuevo estimador h pregunta i |T , se necesita que T sea suciente. La respuesta es porque si no g (T ) g (t ) = E no ser a un estad stico, en otras palabras depender a del par ametro. Ejemplo. Sea una muestra de tama no n = 2, X1 , X2 , de una poblaci on N (, 1). X1 +X2 = 2 es un estimador insesgado para . Sea T = X1 es un estimador, pero no es suciente para . Entonces h i |T E X1 + X2 E | X1 2 1 1 E [X1 |X1 ] + E [X2 |X1 ] 2 2 1 1 X1 + E [X2 ] 2 2 1 1 = X1 + , esto no es un estad stico. 2 2

g (T )

= = = = =

Esto paso porque T no fue un estad stico suciente .

Miguel Chong

Inferencia

Una muestra aleatoria X1 , X2 , . . . , Xn , de una poblaci on Ber(p ). Encontrar el UMVUE usando el teorema de Rao Blackwell Primero veamos que p = PX1 es un estimador insesgado para p y en la clase pasada vimos que T = n i =1 Xi es suciente para p . Entonces g (T ) = = = E [ p | T = t ] = E X1 | 0 P X1 = 0 | 1 P X1 = 1 |
n X i =1 n X i =1

"

n X i =1

Xi = t

Xi = t Xi = t

! !

+ 1 P X1 = 1 | = Pn
i =1

n X i =1

Xi = t

Xi

t . n

La u ltima igualdad la explico Pn en la lamina siguiente, lo que quiero que noten es Xi que el estad stico g (T ) = i =1 es insesgado para p y tiene menor varianza n que p .

Miguel Chong

Inferencia

P X1 = 0|

n X i =1

Xi = t

P P X1 = 0, n i =1 Xi = t P n P X =t i =1 i

Pn P (X1 = 0) P i =2 Xi = t P n P X =t i =1 i n 1 nt t t = =1 n n n
t

P P X1 = 0, n i =2 Xi = t P n P X =t i =1 i 1 (1 ) n t (1 )n1t t = n t (1 )nt t

Entonces la probabilidad del complemento es la siguiente

Xi = t

t n

Miguel Chong

Inferencia

Completez

Denici on Familia completa Una familia de distribuciones {F (x ; )} es completa si para cualquier funci on h(x ) la identidad:

E [h(x )] = 0 implica que P (h(x ) = 0) = 1 en todos los puntos para los cuales f (x ; ) > 01 para alg un . Esta denici on nos indica que una familia de distribuciones es completa si el u nico estimador insesgado de cero es el mismo cero.

El rango o recorrido de la variable aleatoria

Un estad stico T es completo si la correspondiente familia de distribuciones de T es completa. Notemos que la propiedad de completez es una propiedad de la familia de distribuciones. Denici on Estad stico suciente completo. Diremos que un estad stico suciente T es completo, si la familia de distribuciones del estad stico suciente T es completa.

Miguel Chong

Inferencia

Veamos la familia de distribuciones {Bin (n, p )}es completa 0 = E (h (x )) =

h (x ) p (1 p )

= (1 p )

h (x )

p 1p

es un polinomio de grado n y con variable p , para que siempre sea igual a cero sin importar el grado del polinomio ni el valor de p entonces tiene que pasar que h (x ) = 0 para x {0, 1, . . . , n} entonces P (h (x ) = 0) = 1 para cualquier p (0, 1).

Miguel Chong

Inferencia

Teorema de Lehmann-Sche e Si T es un estad stico suciente y completo para , y si existe un , del par estimador insesgado ametro , entonces existe un u nico estimador UMVUE dado por h i |T . g (T ) = E

Miguel Chong

Inferencia

Denici on Estimador invariante. del par Un estimador ametro es invariante si una funci on del estimador , es igual a la funci on del estimador del par ametro ) = fd f ( ( ).

Miguel Chong

Inferencia

M etodos para obtener estimadores Si suponemos que una poblaci on se comporta como una funci on de probabilidad P(xi ; 1 , . . . , k ) en el caso discreto o con funci on de densidad f (x ; 1 , . . . , k ) en el caso continuo, donde los par ametros 1 , . . . , k son desconocidos y los vamos a estimar usando una muestra aleatoria de tama no n, (X1 , . . . , Xn ). Sea E (X r ) = r con r {1, . . . , k } los k -primeros momentos respecto al origen de la poblaci on. En general r ser a una funci on de los k -par ametros 1 , . . . , k , es decir que r (1 , . . . , k ). Por otro lado usando la muestra aleatoria (X1 , . . . , Xn ) calculemos los k -primeros momentos respecto al origen para estas observaciones muestrales,
n X Xir . n i =1

ar

Igualando los k primeros momentos poblacionales, r , a los correspondientes momentos muestrales, ar , tenemos un sistema de k ecuaciones con k -inc ognitas E X 1 1 ( 1 , . . . , k ) = . . . E ( X r ) = k ( 1 , . . . , k ) = ak . a1

1 , . . . , n que son los estimadores y resolviendo este sistema tendremos las soluciones por momentos de los par ametros 1 , . . . , n .
Miguel Chong Inferencia

Propiedades de los estimadores obtenidos por el m etodo de momentos Consistencia: el estimador ar son estimadores consistentes para r . Normalidad asint otica : Si los par ametros que pretendemos estimar son los momentos poblacionales r , entonces los estimadores obtenidos ar ser an as ntoticamente normales, es decir 2 2r r d ar N r , . n En general, no son insesgados, y por tanto no son ecientes.

Miguel Chong

Inferencia

M etodo de la m axima verosimilitud Ya hab amos dicho que la funci on de verosimilitud con respecto a una muestra aleatoria (X1 , . . . , Xn ) como la funci on de probabilidad P (X = x ), o funci on de densidad fX (x ) de las n variables.
n Y i =1

L(x ; ) = L(x1 , . . . , xn ; ) = f (x1 , . . . , xn ; ) = Observaciones

f (xi ; ).

La funci on de verosimilitud L(x1 , . . . , xn ; ) es funci on de la muestra observada y por tanto sera una funci on aleatoria dependiente del par ametro , para cada muestra aleatoria tomar a un valor. Para una muestra dada (x1 , . . . , xn ), la verosimilitud L(x1 , . . . , xn ; ) s olo depende del par ametro , ya que (x1 , . . . , xn ) son valores jos.
Miguel Chong Inferencia

Denici on M etodo de la m axima verosimilitud. El m etodo de la m axima verosimilitud consiste en elegir como (X1 , . . . , Xn ) que estimador del par ametro desconocido al valor maximixa la funci on de verosimilitud L(x1 , . . . , xn ; ), es decir ) = m L(x1 , . . . , xn ; ax L(x1 , . . . , xn ; ).

(X1 , . . . , Xn ) se le llamamos el estimador A este estimador m aximo-veros mil (EMV) para el par ametro . El EMV de la funci on de verosimilitud L(xl , . . . , xn ; ) dada una muestra representa la verosimilitud o plausibilidad de que el par ametro tome un cierto valor, tomando como informaci on la proporcionada por la muestra. Por lo tanto si L(x1 , . . . , xn ; 1 ) > L(x1 , . . . , xn ; 2 ) esto nos indica que la verosimilitud de que el par ametro tome el valor 1 , es mayor que la verosimilitud de que el par ametro tome el valor 2 , dado a la luz de la muestra.
Miguel Chong Inferencia

En general maximizar la funci on de verosimilitud L(x1 , . . . , xn ; ) suele ser dif cil. Como la verosimilitud es una funci on positiva y los m aximos de L(x1 , . . . , xn ; ) son los mismos que ln L(x1 , . . . , xn ; ), entonces en el mayor de los casos preferiremos buscar

) = m ln L(x1 , . . . , xn ; ax ln L(x1 , . . . , xn ; ) n X = m ax ln f (xi ; ).

Es decir que hay que buscar la soluci on de la ecuaci on

ln L(x1 , . . . , xn ; )

Miguel Chong

Inferencia

De forma m as general, si la funci on de densidad de la poblaci on depende de k par ametros, f (x ; 1 , . . . , k ), entonces los estimadores m aximo-verosimiles de estos par ametros se obtienen resolviendo el sistema de ecuaciones de verosimilitud en 1 , . . . , k .
n X ln f (xi ; 1 , . . . , k ) = =0 1 i =1

ln L(x1 , . . . , xn ; 1 , . . . , k ) 1

. . .

ln L(x1 , . . . , xn ; 1 , . . . , k ) k

n X ln f (xi ; 1 , . . . , k ) =0 k i =1

y al resolver este sistema de ecuaciones tendremos los EMVs 1 (X1 , . . . , Xn ), . . . , k (X1 , . . . , Xn ) de los par ametros (1 , . . . , k ). Generalmente el sistema de ecuaciones de verosimilitud no se puede resolver de forma anal tica y hay que recurrir a aproximaciones num ericas.
Miguel Chong Inferencia

Propiedades de los estimadores de m axima verosimilitud Bajo condiciones de regularidad bastante generales se cumplen las siguientes propiedades Consistencia Los estimadores de m axima verosimilitud son consistentes, es decir para > 0, se verica EMV | < ) = 1 cuado n l mn P(|

Miguel Chong

Inferencia

Insesgadez En general los estimadores de m axima verosimilitud no son insesgados sino asintoticamente insesgados. Eciencia as ntotica Los estimadores de m axima verosimilitud son as ntoticamente ecientes. Normalidad as ntotica Los estimadores de m axima verosimilitud son as ntoticamente normales. q ) , Var (
nE 1
ln f (x ; )

) o incide con la CICR, es decir Var ( ) = en donde Var (

Suciencia es un estimador suciente del par Si ametro , entonces el estimador de m axima . verosimilitud de , si es u nico, es funci on del estimador suciente Invarianza es el estimador de Los estimadores m aximo-veros miles son invanantes2 . Es decir, si m axima verosimilitud del par ametro y g () es una funci on con inversa u nica, ), es el estimador de m entonces se verica que g ( axima verosimilitud de g ( ).
2

Con transformaciones biun vocas