ANLISIS DE REGRESIN

LINEAL SIMPLE
Introduccin

Ejemplo: Anscombe (1973) Graphs in Statistical Analysis

x(a)(b)(c) y(a) y(b) y(c) x(d) y(d)

10 8.04 9.14 7.46 8 6.58

8 6.95 8.14 6.77 8 5.76
13 7.58 8.74 12.74 8 7.71
9 8.81 8.77 7.11 8 8.84
11 8.33 9.26 7.81 8 8.47
14 9.96 8.10 8.84 8 7.04
6 7.24 6.13 6.08 8 5.25
4 4.26 3.10 5.39 19 12.50
12 10.84 9.13 8.15 8 5.56
7 4.82 7.26 6.42 8 7.91
5 5.68 4.74 5.73 8 6.89
Ejemplo: Anscombe (1973) Graphs in Statistical Analysis
(Las Grficas en el Anlisis Estadstico)

En todos los casos, la recta de regresin de y sobre x es:

y = 3 + 0.5 x

S R2 = 1.52 R 2 = 0.82

Por lo tanto las cuatro regresiones parecen idnticas.

El anlisis de los residuos refleja una situacin completamente distinta.

Ejemplo: Anscombe (1973) Graphs in Statistical Analysis
Residuales
Inferencia simultanea para los parmetros del modelo
Para una estimacin conjunta de Beta0 y Beta1 en una regin donde
estemos seguros con 100(1-alfa) por ciento de que ambos estimados son
correctos es:

n n
n( 0 0 ) + 2 xi ( 0 0 )( 1 1 ) + x 2 i ( 1 1 )
2

i =1 i =1
F , 2,n2
2 MSE

Estimacin simultanea de la respuesta media

Es posible construir m-intervalos de confianza de la respuesta media de
un conjunto de m-valores especficos X, por ejemplo, X1, X2, ., Xm, que
tengan un coeficiente de confianza conjunta de la menos 100(1-alfa) por
ciento.
 1 ( x x ) 2

E (Y X i ) : YXi MSE +
i

n S xx

La Delta de Bonferroni como sigue: = (2 F , 2,n 2 )1/ 2

Prediccin de nuevas observaciones

El conjunto de intervalos de prediccin para m nuevas observaciones en
los niveles X1, X2,, Xm que tienen un nivel de confianza de al menos
(1-alfa) es:

1 ( x x ) 2


YXi : YXi MSE 1 + +
i

n S xx
 Test para la correlacin
Para probar la hiptesis H0: = 0 contra H1: 0 , donde 0 no
es cero. Si n 25 se utiliza el estadstico transformacin-z de
Fisher:
1 1+ r
Z = arctanh ( r ) = ln
2 1 r

Con media: Z = arctanh( )

1
y desviacin estndar: =
2

n3
Z

En base a la frmula de la distribucin normal, se calcula el

estadstico Z0 siguiente para probar la hiptesis Ho: = 0,
 Z 0 = ( arctanh( r ) arctanh( 0 )( n 3

Z Z
tanh arctanhr / 2 tanh arctanhr + / 2
n3 n3
 Riesgos en el uso de la regresin
Hay varios abusos comunes en el uso de la regresin que deben
ser mencionados:

Los modelos de regresin son vlidos como ecuaciones de

interpolacin sobre el rango de las variables utilizadas en el
modelo. No pueden ser vlidas para extrapolacin fuera de este
rango.

La disposicin de los valores X juega un papel importante en el

ajuste de mnimos cuadrados. Mientras que todos los puntos
tienen igual peso en la determinacin de la recta, su pendiente
est ms influenciada por los valores extremos de X. En este caso
debe hacerse un anlisis minucioso de estos puntos y en todo
caso eliminarlos y re estimar el modelo.
Extrapolacin
Generalizacin
En la figura se observan dos puntos que influyen en el modelo de ajuste,
ya que si se quitaran, el modelo de lnea recta se modificara.

Dos observaciones con mucha influencia (A,B)

 Los outliers u observaciones malas pueden distorsionar
seriamente el ajuste de mnimos cuadrados. En la figura, la
observacin A parece ser un outlier o valor malo ya que cae muy
lejos de la lnea de ajuste de los otros datos. Debe investigarse esta
observacin.

Localizacin de un outlier (A)

 Si se encuentra que dos variables estn relacionadas
fuertemente, no implica que la relacin sea causal, se debe
investigar la relacin causa efecto entre ellas. Por ejemplo el
nmero de enfermos mentales vs. nmero de licencias recibidas.
Causalidad
Correlacin ecolgica
 En algunas aplicaciones el valor de la variable regresora X
requerida para predecir a Y es desconocida, por ejemplo al tratar
de predecir la carga elctrica el da de maana en relacin con la
mxima temperatura de maana, primero debe estimarse cul es
esa temperatura.

Regresin a travs del origen

Algunas situaciones implican que pase la lnea recta a travs del

origen y deben adecuar a los datos. Un modelo de no interseccin
frecuentemente se presenta en los procesos qumicos y otros
procesos de manufactura, el modelo queda como:
y = 1 x
 ^ x02 MSE
Y0 t a / 2,n2 n

i
x 2

i =1

2
xh
^
Yh ta / 2, n 2 MSE 1 + n
2
xi
i =1
Ejemplo
El tiempo requerido por un tendero para surtir su negocio de
refrescos as como el nmero de envases colocados se muestra en
la siguiente tabla. En este caso si el nmero de envases X = 0
entonces el tiempo Y = 0.
el coeficiente es significativo a un alfa de 0.01.
Utilizando un modelo con interseccin resultando en:

El estadstico t para la prueba Ho: 0 = 0 es to = -0.65, por tanto el

coeficiente no es significativo a un alfa de 0.01, implicando que el modelo
de no interseccin puede proporcionar una estimacin superior, en este
caso MSE = 0.2988 y R2 = 0.9983 y, como MSE es menor que en el
modelo con intercepto, es superior.
Ejemplo
Un motor se fabrica con dos partes. La
resistencia al corte entre las dos partes
(Y) es una caracterstica importante de
calidad que se sospecha es funcin de
la antigedad del propelente (X). Los
datos se muestran a continuacin:
El diagrama de dispersin de la resistencia al corte versus el propelente se
muestra a continuacin

La figura sugiere que hay una relacin estadstica inversa entre la resistencia
al corte y la antigedad del propelente, y el supuesto de relacin lineal parece
ser razonable, para estimar los parmetros del modelo se calcula Sxx y Sxy:
Forma alterna
Pruebas de hiptesis de la pendiente e intercepcin
Anlisis de varianza

Decisin: rechazar Fo = 165.21 > F0.05; 1, 18 = 4.414

Estimacin por intervalo en 1 y
Intervalo de estimacin para la respuesta media
Prediccin de nuevas observaciones:

Por tanto, al 95% de confianza, un motor nuevo hecho con un propelente de 10

semanas de antigedad tendr una resistencia al corte de entre 2048.32 a
2464.32 psi.
 Inferencia simultanea para los parmetros del modelo
La regin del 95% de confianza para 0 y 1, si 0est = 2627.82 y 1est = -37.15,
suma Xi2 = 4677.69, MSE = 9244.59 y F0.05,2,18 = 3.55 se tiene de la frmula:
Estimacin simultanea de la respuesta media
Prediccin de nuevas observaciones

Sea Xi = 10 y 18. Los estimadores puntuales de estas observaciones

futuras son Yest x1 = 2256.282 psi y Yest x2 = 1959.050 psi,
respectivamente. Para la regresin lineal simple y m = 2 se tiene:

Coeficiente de determinacin
Con los datos del ejemplo para
la suma de cuadrados de la
regresin y la suma de
cuadrados total se tiene:
ADECUACIN DEL MODELO DE REGRESIN LINEAL
Introduccin
Anlisis de los residuos
Ruido Blanco
 Preguntas que responden los grficos
de residuos

Es lineal la relacin entre las variables?

Depende la varianza del valor de x?

Hay datos atpicos?

Son los datos independientes?

Son los datos normales?

Por lo anterior los residuos representan los errores observados si
el modelo es correcto.

Los residuos pueden ser graficados para:

1. Verificar normalidad.
2. Verificar el efecto del tiempo si su orden es conocido en
los datos.
3. Verificar la constancia de la varianza y la posible
necesidad de transformar los datos en Y.
4. Verificar la curvatura de ms alto orden que ajusta en las
Xs.
Anlisis grficos de residuales
Relaciones no lineales

Grficos de residuos
 Linealidad

El mtodo de mnimos cuadrados estimar una recta de regresin

tanto si hay relacin lineal como si no la hay.

Comprobar si el modelo lineal se ajusta a los datos

Contraste de hiptesis Grfico de y frente a x

para la parmetros
Grfico de residuos frente
Contraste de regresin a valores predichos
 Soluciones a la falta de linealidad

Transformar las variables para intentar conseguir linealidad

Introducir variable adicionales (regresin polinmica)

Detectar la presencia de datos atpicos o ausencia de otras

variables importantes para explicar la variable respuesta
 Soluciones a la falta de homocedasticidad

Si la variabilidad de la respuesta aumenta con x segn la

ecuacin var(y/x)=g(x), dividimos la ecuacin de regresin por
g(x).

Transformar la variable respuesta y puede que tambin x

Si lo anterior no funciona, cambiar el mtodo de estimacin

Mnimos cuadrados ponderados

 Independencia

Los residuos deben ser aleatorios y no estar correlacionados.

Si la variable respuesta ha sido medida en el tiempo es esperable que

exista dependencia temporal.

Si los datos son de tipo temporal conviene hacer un grfico para ver si
los datos tienen estructura temporal

Residuos

Tiempo
 Normalidad
La hiptesis de normalidad es necesaria para justificar las distribuciones
de los estimadores:

2
2 x2
1 ~ N 1 , 2
0 ~ N 0 , 1 + 2
S


nS x n x
Intervalos de confianza
Ausencia de normalidad puede invalidar
Contrastes de hiptesis

Grficos para comprobar la normalidad:

Grfico probabilstico normal de los residuos

Histograma de los residuos

Si la distribucin de los residuos es normal, el grfico ha de mostrar
aproximadamente una lnea recta
Los Residuos como medida de Ajuste:

Si el modelo es cierto, los errores cumplen:

Sin embargo, estos errores son no observables.

Se definen los residuos del modelo como:

Se verifica que:
Propiedades de los Residuos:

Los residuos no son una muestra aleatoria de una N(0,2)

Ejemplo
Se realizaron 25 observaciones de la variable Y y X como sigue: Hallar
los residuales originales, estandarizados y estudentizados.
Recta estimada
Anlisis de Varianza

El anlisis de varianza es una herramienta que sirve para probar la

adecuacin del modelo de regresin, para lo cual es necesario calcular
las sumas de cuadrados correspondientes.
Grfica de probabilidad normal
Se utiliza la grfica de probabilidad normal para identificar si algunos
residuos sesgan la respuesta de la normal. Normalmente se requieren
20 puntos para verificar la normalidad.
Residuales vs Fits
Observacin
Los residuales no son variables aleatorias independientes porque involucran los valores ajustados
basados en los estimadores b0 y b1 por lo cual se asocian con (n-2) grados de libertad. Sin
embargo, cuando el nmero de residuales es grande, comparado con el nmero de parmetros del
modelo, el efecto de no independencia se vuelve relativamente intrascendente.
DETECCIN Y TRATAMIENTO DE OBSERVACIONES
REMOTAS (OUTLIERS)
De acuerdo con Draper y Smith
Efectos de una observacin sobre el modelo
estimado
Efecto de un en punto
Medidas basadas en los residuos
Efectos de los diferentes tipos de puntos sobre la regresin

Se va a analizar el efecto de los valores potencialmente influyentes

segn su distancia a la media en el espacio de variables
independientes:

1. Valores cercanos a la media

2. Valores intermedios
3. Valores alejados de la media
Observaciones no alejadas de la media

Difcilmente son influyentes

Observaciones intermedia

Son influyentes si son atpicos

Observaciones alejadas de la media

Normalmente son influyentes aunque no sean atpicos

Niveles de influencia (Medidas de influencia a priori)
Forma grfica para detectar observaciones remotas.

Los valores normalizados del error mayor a 4 pueden marcarse como

posibles observaciones remotas.

Las observaciones remotas pueden crear gran dificultad, al empujar

desproporcionadamente la lnea ajustada de regresin, pero slo seran
descartables ante evidencias como mala toma de datos o procesamiento de
los datos.
Valores LEVERAGE

Otra forma simple no grfica de medir su influencia es a travs del vector

palanca o leverage que se evaluara como:

Un punto dato (xi) se dice que ejerce un apalancamiento (grande) si est

desproporcionadamente distante de la mayor parte de los valores del
regresor. Cada hi refleja la influencia de cada xi sobre el modelo de
regresin ajustado. Si existen esos puntos de influencia quiz sea necesario
evaluar de nuevo la necesidad de mantenerlos en el modelo.

Regla de decisin

Sea p es el nmero total de variables en el modelo, valores de hi que

superen el valor:

son indicadores de una alta influencia en el modelo

Medidas de extraeza

Medidas que indican si un punto tiene un comportamiento muy diferente del

resto

Studentizados Internamente:

formalmente el residuo internamente studentizado se obtiene como

Algunas propiedades:

es pequea.
Studentizados Externamente:

Se define el residuo externamente studentizado como:

el subndice (i) indica la exclusin del dato i-simo.

Se demuestra que:
Residuos predichos
Propiedades Residuos Predichos
Medidas de influencia a posteriori
Indican si un valor afecta a la estimacin del modelo

Medidas de la robustez del modelo a los datos

Medidas de robustez de los coeficientes estimados

Donde ajj es el j-simo elemento de la inversa de XX

Si | DFBETA | > 2/n observacin influyente
Medidas de robustez de los valores estimados de la
dependiente

Si | DFFITS | > 2 (p/n) dato influyente ( p = parmetros)

Medidas de robustez de los estimadores de la varianza

Si COVRATIO > 1 + 3p/n o < 1 3p/n dato influencial

 Y: Pressure
Case Number X:Temp (F) (Inches Hg)
Ejemplo: 1 194.5 20.79
2 194.3 20.79
Analizar los datos de Forbes 1857. 3 197.9 22.40
Punto de Ebullicin y la Presin 4 198.4 22.67
Baromtrica para 17 los lugares en 5 199.4 23.15
los Alpes y Escocia. 6 199.9 23.35
7 200.9 23.89
8 201.1 23.99
9 201.4 24.02
10 201.3 24.01
11 203.6 25.14
12 204.6 26.57
13 209.5 28.49
14 208.6 27.76
15 210.7 29.04
16 211.9 29.88
17 212.2 30.06
(i) Est bien identificada la funcin para la media???

Podemos mirar el grfico vs. . Esperamos no encontrar patrones.

Ejemplo: (Datos de Forbes) Se aprecia curvatura.

Tambin podemos mirar el grfico vs.

Ejemplo: Datos de Forbes.

Ambos grficos entregan la misma informacin: No est bien identificada la

media.

Podemos mirar el grfico NO. (Por qu?)

(ii) Es constante la varianza??

Podemos mirar el grfico vs. . Esperamos encontrar variabilidad

homognea.

Ejemplo: .
(iii) Vienen todos los datos del mismo modelo?

Outliers (observaciones remotas o alejadas)

Son datos tales que la respuesta es muy grande o muy pequea en

comparacin al resto de los datos.

No es necesariamente malo.

Cmo detectarlo? Usando que

o que
Ejemplo: Residuos Internamente Studentizados. Datos de Forbes.
Residuos Externamente Studentizados. Datos de Forbes.
Puntos Extremos (o de apalancamiento).

El valor del predictor est muy alejado.

No siempre tiene relevancia.

Tambin se denominan Puntos de Palanca o valores Leverage

La palanca se define como:

Ejemplo: Los dos puntos en el extremo derecho tienen la misma palanca. Sin
embargo, el segundo caso es de mayor importancia.

(1) (2)
Puntos de Influencia.

La idea es magnificar la influencia de cada punto en la regresin.

Cmo se afectan y ?

Cmo se afecta ?

Cmo se afecta ?

La medida de Cook

entrega una medida de la influencia de cada observacin.

Ejemplo 1: Distancia de Cook (Datos de Forbes)
Ejemplo 2: Distancia de Cook (Datos Ficticios (1), dato no influyente)
Ejemplo 2: Distancia de Cook (Datos Ficticios (2), dato influyente)
Pruebas de hiptesis con los residuales
Existen ocasiones en que los anlisis grficos a veces no permite decidir
con claridad acerca de un aspecto en particular acerca de los errores.
 Soluciones a la falta de linealidad

Transformar las variables para intentar conseguir linealidad

Introducir variable adicionales (regresin polinmica)

Detectar la presencia de datos atpicos o ausencia de otras

variables importantes para explicar la variable respuesta
Soluciones a la falta de homocedasticidad

Si la variabilidad de la respuesta aumenta con x segn la

ecuacin var(y/x)=g(x), dividimos la ecuacin de regresin por
g(x).

Transformar la variable respuesta y puede que tambin x

Si lo anterior no funciona, cambiar el mtodo de estimacin

Mnimos cuadrados ponderados

 Transformaciones
Las transformaciones se utilizan fundamentalmente por tres razones:

Linealizar relaciones no-lineales

Conseguir homocedasticidad

Conseguir normalidad

Al transformar los datos no se pierde informacin pero hay que tener

cuidado a la hora de interpretar los coeficientes.

El modelo transformado ha de ser tambin validado

 y = 0 e 1x log( y ) = %0 + %1 x

%1 representa el incremento porcentual de y cuando x aumenta

una unidad

y = 0 e 1x log( y ) = log( 0 ) + 1 x

x
y = e

log(y)
y

log(y) = a + x
a = log()
x x
 Modelo de regresin exponencial

y = 0 x log( y ) = %0 + %1 log( x)
1

%1 representa el incremento porcentual de y cuando x aumenta un 1%

y = 0 x 1 log( y ) = %0 + %1 log( x)

1< 0

log(y)
y

x log(x)
 e = e x y = %0 + %1 log( x)
y 0 1

%1/100 representa el incremento de y cuando x aumenta en un 1%

e y = e 0 x 1 y = %0 + %1 log( x)

y y

x log(x)
 Consecuencia de las transformaciones

La interpretacin de los parmetros se refiere a la relacin entre las

variables transformadas, no a las originales