1 REGRESIÓN MULTIPLE

 Planteamiento y análisis del modelo de

regresión lineal múltiple.
 Requisitos del modelo. Multicolinealidad.
 Incorporación al modelo de una variable
dicotómica.
 Extensión al modelo de regresión
logística.
http://gerardnico.com/wiki/data_mining/multiple_regression  Utilización del SPSS.
2 Las técnicas de Regresión lineal multiple parten de
k+1 variables cuantitativas:

La variable respuesta o dependiente (Y)

Las variables explicativas (X1 ,…, Xk)

Y tratan de explicar la Y mediante una función lineal

de las x1,…, xk representada por el hiperplano:

y = b0 + b1x1 +…+ bkxk

Debemos extender a k variables las ideas y técnicas de la
regresión lineal simple
 Modelo para la Regresión lineal múltiple
3
Yx1,…,xk = b0 + b1x1 + …+ bkxk + U(x1,…, xk)

Donde:
 Yx1,…xk es la variable aleatoria que representa los valores que
obtendremos cuando las Xs tomen los valores x1,…,x k
 b0 + b1x1 + …+ bkxk es el valor esperado (medio) de la Y cuando
las Xs tomen los valores x1 ,…,x k
 U representa la variabilidad aleatoria respecto al hiperplano
y = b0 + b1x1 + …+ bkxk
Supondremos que U sigue una distribución N(0, s) igual sea cual sea
el valor de las x’s.
 Datos y estimación de los parámetros
4
Realizaremos una muestra aleatoria
con n valores de las k+1 variables:
n > k+1
Geométricamente, la nube
de puntos ahora está en un
espacio de dimensión k+1
¡Difícil de visualizar para k>2!

Los programas informáticos proporcionan las estimaciones de los

parámetros b0 , b1, … , bk y s
5 Cuatro hipótesis comunes con la
regresión lineal simple
Normalidad
Homocedasticidad
Linealidad
Independencia

Como siempre, las primeras las estudiaremos mediante los residuos:

6 Y un requisito adicional
Ninguna de las Xi es combinación lineal de
las otras (ausencia de multicolinealidad)
Si alguna de las Xi es combinación lineal exacta de algunas
de las otras Xj, el modelo puede simplificarse con menos
variables explicativas. También hay que tener cuidado si
alguna de las Xi está fuertemente correlacionada con
otras.

Ejemplo: con k=2, si x2= a+bx1 tendremos:

y = b0 + b1x1 + b2x2 = (b0 + b2a) + (b1+ b2b) x1
Es decir un modelo de regresión lineal simple.
7 Contrastes de hipótesis

Rechazaremos H0 , al nivel a, si el cero no está en el

intervalo de confianza 1- a para bi

Lo que es equivalente a un contraste de la t de Student

para cada parámetro bi (i = 1, 2,…, k)

Son k contrastes diferentes: uno para cada una de las k

variables explicativas
8 Ejemplo 1
Estimación del tamaño de Trilobites
En la mayoría de las condiciones de preservación, es difícil
encontrar ejemplares completos de Trilobites.
La cabeza (cephalon) suelta es mucho más común.

Por ello, es útil poder estimar el tamaño del cuerpo en función

de medidas sobre la cabeza, estableciendo cuáles de ellas
constituyen la mejor determinación del tamaño total.

El siguiente ejemplo está tomado de:

Norman MacLeod
Keeper of Palaeontology,
The Natural History Museum, London
http://www.palass.org/publications/newsletter/palaeomath-101/palaeomath-part-4-regression-iv
9

Dibujo de Sam Gon III

10

y = b0 + b1x1 + b2x2
11
Ejemplo 1
Estimación del tamaño de Trilobites

Coeficientes Error típico Estadístico t p-valor Inferior 95% Superior 95%

Intercepción 3,9396 4,4531 0,8847 0,3887 -5,4558 13,3349
Gabella length 2,5664 0,8771 2,9259 0,0094 0,7159 4,4170
Glabella width 0,9387 1,0730 0,8749 0,3938 -1,3250 3,2025
12
Análisis de la Varianza
Objetivo: realizar el contraste
H0: b1 = ... = bk = 0 (ninguna de las Xs influye, el modelo no es válido)
H1: algún bi es distinto de cero (alguna de las variables influye)

Para ello descompondremos la variabilidad total

 Tabla Anova
13

Rechazaremos H0 , al nivel a, si :

Coeficiente de determinación

SCT = nvy = (n-1)sy2 SCE = nvyR2 SCR = nvy(1-R2)

 Ejemplo 1
14
Estimación del tamaño de Trilobites
Gr. de Suma de cuadrados
libertad cuadrados medios F p-valor
Regresión 2 5586,22 2793,11 40,32 0,0000004
Residuos 17 1177,70 69,28
Total 19 6763,92

Estadísticas de la regresión
Coeficiente de correlación múltiple 0,909
Coeficiente de determinación R^2 0,826
R^2 ajustado 0,805
Error típico 8,323
Observaciones 20
 Resumen de los contrastes
15
16
Ejemplo 2
Respiración de líquenes
Se estudia la tasa de respiración (en nmoles oxígeno g-1 min-1)
del liquen Parmelia saxatilis en crecimiento bajo puntos de
goteo con un recubrimiento galvanizado.

El agua que cae sobre el liquen contiene Zinc y Potasio que

se utilizan como variables explicativas.

Los datos corresponden a:

Wainwright (1993, J.Biol.Educ., 27(3), 201- 204).
 Respiration Rate Potassium ppm Zinc ppm

17 71 388 2414
Datos 53 258 10693
55 292 11682
48 205 12560
69 449 2464
84 331 2607
21 114 16205
68 580 2005
68 622 1825

De Schaude - self-made / selbst aufgenommen, GFDL, Variable N MEAN MEDIAN STDEV

https://commons.wikimedia.org/w/index.php?curid=32
93541 RespRate 9 59.67 68.00 18.8
K ppm 9 359.9 331.0 168.1
Zn ppm 9 6939 2607 5742
 Plano de regresión
18

Tasa de respiración = b0 + b1Potasio + b2Zinc

* *
* *
*
* *

* * *
*
*

Datos *
 Regresión de la tasa de respiración (RespRate) sobre el Potasio (K) y el Zinc (Zn).
19
La ecuación de regresión estimada es: RespRate = 101 - 0.0403 K - 0.00387 Zn

Predictor Coef Stdev t-ratio p

Constant 101.09 18.87 5.36 0.002

K ppm -0.04034 0.03424 -1.18 0.283

Zn ppm -0.00387 0.001002 -3.87 0.008

Análisis de la varianza (tabla ANOVA)

Source df SS MS F p
Regression 2 2243.3 1121.6 16.80 0.003

Error 6 400.7 66.8

Total 8 2644.0
 ANÁLISIS DE VARIANZA (sólo Zn)
20 gr. Libertad Suma de cuadrados cuadrados medios F p-valor
Regresión 1 2150,58 2150,58 30,51 0,00088423
Residuos 7 493,42 70,49
Total 8 2644

Estadísticas de la regresión
Coeficiente de correlación múltiple 0,90
Coeficiente de determinación R^2 0,81
R^2 ajustado 0,79
Error típico 8,40
Observaciones 9

ANÁLISIS DE VARIANZA (sólo K)

gr. Libertad Suma de cuadrados cuadrados medios F p-valor
Regresión 1 1244,51 1244,51 6,22 0,04
Residuos 7 1399,49 199,93
Total 8 2644
Estadísticas de la regresión
Coeficiente de correlación múltiple 0,69
Coeficiente de determinación R^2 0,47
R^2 ajustado 0,40
Error típico 14,14
Observaciones 9
 Estimación de la respuesta media de Y para los
21 valores x10 ,…, xk0 de las variables explicativas

Error típico
 Predicción de un nuevo valor de Y dados los
22 valores x10 ,…, xk0 de las variables explicativas

Error típico
23 Ejemplo 3
En un experimento sobre el efecto tóxico de un compuesto químico sobre
las larvas del gusano de seda, se inyectaron distintas dosis del compuesto
químico a 15 larvas de distintos pesos, midiéndose posteriormente su
supervivencia.

Se decidió realizar una regresión

lineal múltiple entre las variables:
Y = Log10 (supervivencia)
X1= Log10 (dosis)
X2 = Log10 (peso)
 Supervivencia dosis peso Y X1 X2
685,49 1,41 2,66 2,84 ,15 ,43
24 924,70 1,64 2,75 2,97 ,21 ,44
486,41 3,07 2,00 2,69 ,49 ,30
477,53 3,23 2,11 2,68 ,51 ,33
671,43 3,72 2,35 2,83 ,57 ,37
276,69 3,92 1,24 2,44 ,59 ,09
263,63 4,37 1,38 2,42 ,64 ,14
399,94 6,04 2,55 2,60 ,78 ,41
359,75 5,48 2,31 2,56 ,74 ,36
276,06 6,79 1,43 2,44 ,83 ,16
263,03 7,33 1,77 2,42 ,87 ,25
274,79 8,02 1,90 2,44 ,90 ,28
242,66 8,75 1,38 2,39 ,94 ,14
283,14 12,30 1,95 2,45 1,09 ,29
224,39 15,63 1,56 2,35 1,19 ,19

Datos Datos transformados

 ANOVAb

25 Suma de Media
Modelo cuadrados gl cuadrática F Sig.
1 Regresión ,464 2 ,232 59, 178 ,000a
Res idual ,047 12 ,004
Tot al ,511 14
a. Variables predic toras: (Constante), Log10 (peso), Log10 (dos is )
b. Variable dependiente: Log10 (superv iv encia)

Coefi cientesa

Estadíst ic os
Coef icientes
est andarizad
Coef icientes no est andarizados os
Modelo Variables B Error t íp. Beta t Sig.
1 (Constante) 2, 589 ,084 30, 966 ,000
Log10 (dos is ) -, 378 ,066 -, 580 -5,702 ,000
Log10 (pes o) ,875 ,172 ,516 5, 073 ,000
a. Variable dependiente: Log10 (superv iv encia)
26
 Gráficos de regresión simple
27

Regresión simple: sólo la dosis

Coefi cientesa

Coef icientes no Coef icientes Interv alo de conf ianza para

est andarizados est andarizados B al 95%
Lí mite
Modelo B Error t íp. Beta t Sig. Lí mite inf erior superior
1 (Constante) 2, 952 ,074 40, 136 ,000 2, 793 3, 111
Log10 (dosis ) -, 550 ,097 -, 843 -5,649 ,000 -, 760 -, 340
a. Variable dependiente: Log10 (superv iv encia)
 Aceptando el modelo completo
28 Para una larva (L1) que pesa 1,58 ¿qué dosis estimamos
necesaria para que viva el mismo tiempo que una larva (L2) que
pesa 2,51 y a la que se administra una dosis de 3,16?

Solución
Estimación de Log10 (Supervivencia) de L2 =
2,589 + 0,875 Log10(2,51) – 0,378Log10(3,16) = 2,75

Supervivencia estimada de L2 = 102.75 = 562,34

Dosis estimada para L1

2,75 = 2,589 + 0,875 Log10(1,58) – 0,378Log10(x)

Despejando
Log10(x) = 0,04 la dosis pedida es 100.04 = 1,10
 Ejemplo 4
29 Los siguientes resultados corresponden al análisis realizado sobre los
cerezos negros en el Allegheny National Forest, Pennsylvania. Los datos
corresponden al volumen (en pies cúbicos), la altura (en pies) y el
diámetro (en pulgadas, a 54 pulgadas sobre la base) de 31 cerezos.
Se trata de estimar el volumen de un árbol (y por tanto su cantidad de
madera) dados su altura y su diámetro.
30

Correlaciones Varianzas y covarianzas

Diam Altura Volumen Diam Altura Volumen
Diámetro 1 Diam 9,53
Altura 0,519 1 Altura 10,05 39,29
Volumen 0,967 0,598 1 Volumen 48,28 60,64 261,49
31
Análisis de los residuos
 Regresión simple (sólo el diámetro)
32

¿cuál es la curva
ajustada con el
modelo potencial?
 Regresión simple (sólo el diámetro)
33 Residuos no tipificados

¿justifican los residuos la elección del modelo potencial?

34 Predicciones puntuales

Para un cerezo con una altura de 80 pies y un diámetro de 16 pulgadas

Con el modelo lineal completo (diámetro y altura):

Volumen estimado = -57,988 + 4,708 (16) +0,339 (80) = 44,46
pies cúbicos

Con el modelo lineal (solo el diámetro):

Volumen estimado = -36,943 + 5,066 (16) = 44,11 pies cúbicos

Con el modelo potencial (sólo el diámetro):

Volumen estimado = 0,095 (16)2,2 = 42,34 pies cúbicos
 Incorporación de una variable dicotómica
35
Supongamos que, además de las k variables continuas, tenemos
una variable cualitativa con dos valores (que codificaremos
como 0 y 1)
Esta nueva variable se puede incorporar a la regresión
obteniéndose un coeficiente adicional bk+1 para ella.
El análisis de la regresión nos indicará si el efecto de esta
variable es significativo o no.

El coeficiente bk+1 representa lo que se añade a la ecuación

lineal y = b0 + b1x1 +…+ bkxk en el caso de que la nueva
variable tome el valor 1.
 Ejemplo: datos antropométricos de estudiantes de Biología
36 Se trata de explicar la altura de un estudiante en función de su braza y su
anchura de la tibia, teniendo en cuenta el sexo (mujer= 0, hombre =1)

Estadísticos descriptivos (mujeres) Estadísticos descriptivos (hombres)

Desviació Desviació
Media n típica N Media n típica N
Estatura en cm 164,0589 4,81695 73 Estatura en cm 176,8975 6,43091 40
Braza en cm 163,9493 6,41756 73 Braza en cm 178,9225 7,96178 40
Anchura tibia cm 8,5041 ,63145 73 Anchura tibia cm 8,8625 ,62458 40

Correlaciones
(todos juntos) Estatura Braza Anchura tibia
Estatura 1,000 ,927 ,418
Braza ,927 1,000 ,398
Anchura tibia ,418 ,398 1,000
 Coeficientesa
Coeficientes no Coeficientes
Anova
37 estandarizados tipificados p-valor = 0,000…
Modelo 1 (todos) B Error típ. Beta t Sig.
(Constante) 53,413 6,720 7,948 ,000
en los 3 modelos
Braza ,634 ,041 ,773 15,292 ,000 Modelo R R^2
Anchura tibia ,795 ,461 ,063 1,725 ,087
1 ,937a ,878
sexo 3,066 ,822 ,179 3,730 ,000
2 ,824a ,679
a. Variable dependiente: Estatura en cm
Coeficientesa 3 ,883a ,780
Coeficientes no Coeficientes
estandarizados tipificados
Modelo 2 (solo mujeres) B Error típ. Beta t Sig.
Un hombre 180 de braza 9 ancho tibia
(Constante) 61,093 8,999 6,789 ,000 Una mujer 165 de braza 8 ancho tibia
Braza ,615 ,051 ,819 12,008 ,000 Predicción alturas
Anchura tibia ,252 ,521 ,033 ,483 ,630 Para el hombre
a. Variable dependiente: Estatura en cm
Coeficientesa
Modelo 1: 177,7
Coeficientes no Coeficientes Modelo 3: 178,0
estandarizados tipificados
Para la mujer
Modelo 3 (solo hombres) B Error típ. Beta t Sig.
(Constante) 50,354 11,171 4,508 ,000 Modelo 1: 164,4
Braza ,604 ,077 ,747 7,801 ,000 Modelo 2: 164,6
Anchura tibia 2,092 ,986 ,203 2,121 ,041
a. Variable dependiente: Estatura en cm
¿Comentarios?
 Modelo de regresión logística binaria
38
Ejemplo introductorio

El 4 de julio de 1999 una tormenta con vientos que excedían las 90 millas
por hora azotó el nordeste de Minnesota causando graves daños en los
bosques de un parque natural de la zona.
Los científicos analizaron los efectos de la tormenta determinando para
mas de 3.600 arboles del parque las siguientes variables:
 Su diámetro en cm (variable D)
 Una medida de la fuerza de la tormenta relacionada con el
porcentaje inerte de área basal* de cuatro de las especies (variable S)
 El registro de si cada árbol había muerto (Y = 1) o si había sobrevivido
(Y = 0)
 La especie a la que pertenecía cada árbol (variable SSP).
Tras un primer análisis descriptivo, parece que el diámetro D y la fuerza de
la tormenta S pueden ser útiles para estimar la probabilidad de
supervivencia de un árbol (Y)
*El área de un terreno ocupada por la sección de los troncos de los arboles en la base.
 El modelo de regresión logística que veremos se utiliza
39
para investigar la relación entre una variable respuesta
cualitativa que toma dos posibles valores (en el ejemplo, la
variable Y: supervivencia si o no) y un conjunto de
variables regresoras continuas (en el ejemplo, las variables
D y S)

Este modelo nos permitirá:

 describir la probabilidad de que un árbol sobreviva o
no como función del resto de las variables explicativas,
 determinar si estas variables modifican
significativamente dicha probabilidad (influyen en la Y)
 estimar en función de las variables regresoras la
probabilidad de que un árbol sobreviva o no.
40 Descripción del modelo
Tenemos una variable Y con dos valores (0= fracaso y 1= éxito)
Por ejemplo, la variable que describe si un árbol sobrevive o no.

Esta variable depende de los valores de otras x1, …, xk

(continuas)
Por ejemplo las variables D y S.

Es decir:
La probabilidad de éxito dependerá de los valores de las x’s
La fórmula (modelo) para esta probabilidad viene dada por la
función logística:
 Diametro (D) Fuerza (S) Supervivencia Especie (SPP)
(Y)
41 Datos (ejemplo) 9,00 0,024 0 BF
7,00 0,028 0 BA
7,00 0,102 0 BS
Di es el diámetro del árbol i, 13,00 0,102 0 C
15,00 0,210 0 C
9,00 0,210 0 PB
Si mide la fuerza local de la 20,00 0,306 0 C
tormenta en la posición del 16,00 0,307 0 BS
árbol i 13,00 0,426 1 JP
7,00 0,429 0 BF
La supervivencia es: 18,00 0,509 1 PB
37,00 0,511 0 A
Yi = 1 si el árbol i no sobrevivió
16,00 0,626 1 JP
a la tormenta 15,00 0,628 1 BS
Yi = 0 en caso contrario. 9,00 0,716 1 BF
15,00 0,717 1 BS
n = 3.666 17,00 0,847 1 BS
14,00 0,847 0 RM
30,00 0,974 1 RP
8,00 0,983 1 BF

etc. etc. etc. etc.

 Estimación de los parámetros del modelo
42
La estimación de los parámetros
se obtiene por métodos numéricos (no hay expresión
explícita.)

Podremos calcular la probabilidad estimada de no

supervivencia de cada árbol de la muestra

Y compararla con la realidad de si dicho árbol sobrevivió

o no
43 Análisis con SPSS

Como variable dependiente elegimos la variable respuesta y en la ventana

“Covariables” situamos las variables D y S.

B da las estimaciones de los parámetros bi y E.T. es su error típico.

Podemos calcular para el árbol i:

Si en el botón Guardar... del cuadro de dialogo marcamos la opción

Probabilidades, el programa calcula las probabilidades estimadas de pi para
todos los árboles de la muestra.
 Predicción para un nuevo caso con x01,…, x0k
44

La estimación de P(Y=1/ x01,…, x0k) es:

Clasificación del nuevo caso

En el ejemplo esto ocurre si:

0,097 D0 + 4,424 S0 > 3,543

Estimar la probabilidad de que no sobreviva un árbol cuyo diámetro

es de 30 cm situado en una zona en la que la fuerza de la tormenta
viene dada por S = 0,8.
 En la figura siguiente se representan los puntos (Di; Si) para todos los árboles
de la muestra, en color verde (no supervivientes) o color azul (supervivientes)
45
junto con la representación gráfica de la recta que divide las regiones en las
que clasificaremos un nuevo árbol como superviviente o no superviviente.

Predicho por
el modelo
vive muere % aciertos
Observado
vive 1562 420 79%
en la
muestra muere 526 1158 69%
 Ejemplo
46
Se dispone de medidas en cm de la longitud y anchura del pétalo
y el sépalo de 100 lirios correspondientes a dos especies
diferentes: iris versicolor (y = 0) e iris virginica (y = 1).
Se ha ajustado un modelo de regresión logística a los datos con
el fin de estudiar la probabilidad de que un lirio pertenezca a
cada una de las dos especies en función de las cuatro medidas.