Cadenas de Markov

CAPTULO VI
CADENAS DE MARKOV

6.1 INTRODUCCIN

El anlisis de Markov es un mtodo para analizar la conducta actual de alguna variable

en un esfuerzo por predecir la conducta futura de esa variable. Este procedimiento fue
desarrollado por el matemtico ruso Andrei Andreivich Markov (14 de junio de 1856 20
de julio de 1922). Primero lo us para describir y pronosticar el comportamiento de
partculas de gas en un recipiente cerrado. El anlisis de Markov ha sido aplicado
exitosamente a una amplia variedad de situaciones de decisin en reas tales como
educacin, mercadotecnia, servicios de salud, finanzas, contabilidad y produccin
(problemas de inventarios, lneas de espera, mantenimiento y reemplazo entre otros).

En el caso de mercadotecnia, se utiliza para examinar y pronosticar el

comportamiento de los clientes desde el punto de vista de su lealtad a una marca y de sus
formas de cambio a otras marcas. Por ejemplo un cliente puede comprar detergente de la
marca A, B, C, pero una compra comprender slo una de las marcas. Si la probabilidad
de que la siguiente compra sea de la marca A, B, C depende exclusivamente de la compra
mas reciente y no de las anteriores.

En el caso de produccin, se puede utilizar para pronosticar el comportamiento de

una mquina desde el punto de vista de su funcionamiento. Por ejemplo una mquina en un
momento dado puede estar en funcionamiento o descompuesta. La probabilidad de que en
el siguiente tiempo t la mquina este en funcionamiento o descompuesta depender del
estado mas reciente y no de los estados anteriores.

En el caso de gentica, se puede utilizar para modelar la teora de Gregor Mendel

donde existe una probabilidad de que un rasgo tal como el color est determinado por dos
genes, cada uno de los cuales puede ser de carcter dominate o recesivo. Segn la teora,
cuando de dos genes hay uno dominante, el color queda determinado por ste, mientras que
slo puede tener el otro color si ambos genes son recesivos y esto depende del estado mas
reciente y no de los estados anteriores.

6.2 CONCEPTOS BSICOS

6.2.1 Vectores de Probabilidad

Un vector fila v = (v1, v2, ...,vn) recibe el nombre de vector de probabilidad si sus
componentes son no negativas y la suma es igual a 1.

82
 Cadenas de Markov

Ejemplo 1 Identificacin de vectores de probabilidad.

Indicar cual(es) de los siguientes vectores son vectores de probabilidad

a) w = (1/3, 2/5, ) b) x = (1/2, , -1/4) c) y = (1/5, 2/5, 2/5) d) z = (1/2, 0, )

a) w No es un vector de probabilidad porque la suma de sus componentes es mayor a 1

b) x No es un vector de probabilidad porque tiene componentes negativos
c) y Es un vector de probabilidad porque todas sus componentes son no negativas y la
suma es igual a 1
d) z Es un vector de probabilidad porque todas sus componentes son no negativas y la
suma es igual a 1.

El vector no nulo w = ( 2, 3, 0, 6, 4) no es un vector de probabilidad puesto que la suma de

sus componentes no es igual a 1. Sin embargo, puesto que las componentes de w son no
negativas, w tiene un mltiplo escalar w que es un vector de probabilidad; puede
obtenerse a partir de w dividiendo cada componente de w por la suma de las componentes
de w:

Ejemplo 2: Vectores no nulos

Obtenga el vector de probabilidad a partir del vector no nulo w= ( 2, 3, 0, 6, 4)

1 1
= =
2 + 3 + 0 + 6 + 4 15
1 2 3 0 6 4
w = w = , , , ,
15 15 15 15 15 15

6.2.2 Proceso estocstico: Si el estado de un sistema dado puede cambiar con cierta
probabilidad a intervalos fijos o aleatorios de tiempo se denomina proceso estocstico

Un proceso estocstico se define como una coleccin subindizada de variables aleatorias

denotadas por {Xt}.

Las variables X1, X2 y X3 pueden representar los niveles de inventario al finalizar los meses
1, 2 y 3 las marcas de productos preferidas por los clientes en las semanas 1, 2 y 3.

6.2.3 Espacio de estados: Se define al conjunto de todos los posibles valores asociados a
un proceso estocstico.

Marcas ={Toyota, Mitsubishi, Suzuki}

Estado de una mquina = {Descompuesta, Funcionando}

83
 Cadenas de Markov

6.2.4 Transicin: Se define como una transicin a cualquier cambio de estado

6.2.5 Diagrama de transiciones: Conjunto de nodos y arcos dirigidos que ilustra las
transiciones entre estados.

Ejemplo 3: Funcionamiento de mquinas

Sean los estados de la mquina representados en la figura 6.1

1) Descompuesta y 2) Funcionando

El arco 1, 2 representa la transicin de pasar de un estado en el que la mquina

estuvo descompuesta en el tiempo t, a un estado de funcionamiento en el tiempo t +1.

1 2

Figura 6.1

6.2.6 Cadena de Markov: Es un proceso estocstico el cual tiene la propiedad de que la

probabilidad de una transicin de un estado dado a cualquier estado futuro es dependiente
solamente del estado actual.

Matemticamente puede expresarse de la siguiente manera:

P{Xt+1 =j / Xo=f, X1=g, X2=h, Xt =i}

= P{Xt+1 =j / Xt =i} (4.1)

Probabilidad de que la variable de estado tome el valor de j en el tiempo t+1 dado que en el
tiempo t toma el valor de i.

La probabilidad condicional 4.1 se conoce como probabilidad de transicin y es la que se

asigna a los arcos del diagrama de transiciones.

Pij = P{Xt+1, = j / Xt = i) para toda i,j (4.2)

Las probabilidad Pij se consideran estacionarias porque no cambian con el tiempo.

Probabilidad de transicin de n periodos, denotada por Pij(n) se define como

Pij(n)= P{Xt+n, = j / Xt = i) (4.3)

Como Pij(n) son probabilidades condicionales deben satisfacer:

Pij(n) >=0 para toda i ,j y n=0, 1, 2,

84
 Cadenas de Markov

y
M

p
j =0
n
i, j = 1 para toda i y n = 0,1 ,2, ... donde M es el nmero finito asociado por donde

puede pasar el proceso.

Ejemplo 4: Ajuste de mquinas

Una mquina que produce piezas puede estar ajustada o desajustada. Si esta ajustada,
suponga que la probabilidad de que no lo est es 0.3. Si la mquina esta desajustada, la
probabilidad de que este ajustada el da siguiente es 0.6 y la probabilidad de que no lo este
es 0.4. Si el estado 1 representa la situacin en que la mquina esta ajustada y el estado 2
representa el caso en que esta desajustada, las probabilidades de cambio son las que se
indica en la tabla 6.1.

El proceso se representa con dos rboles de probabilidades en la figura 6.2a y 6.2b, cuyas
ramas ascendentes indican el paso al estado 1 y las ramas inferiores el cambio al estado 2.

A Ajustada No Ajustada
De
Ajustada 0.7 0.3
No ajustada 0.6 0.4

Tabla 6.1

0.49
1
0.7

1 0.3
0.7

2 0.21

1
0.3
0.18
0.6 1

2
0.4

2 0.12

Figura 6.2 a

85
 Cadenas de Markov

0.42
1
0.7

1 0.3
0.6

2 0.18

2
0.4
0.24
0.6 1

2
0.4

2 0.16

Figura 6.2 b

a) Halle la probabilidad de que la mquina este ajustada el segundo da si el primer da

estuvo ajustada.

P11 = P{ X 2 = 1 / X 1 = 1}
P11 = 0.7

b) Halle la probabilidad de que la mquina este ajustada el tercer da si el primer da

estuvo ajustada.

P112 = P{ X 3 = 1 / X 1 = 1}
P112 = P11 * P11 + P12 * P21 = 0.49 + 0.18 = 0.67

c) Halle la probabilidad de que la mquina este desajustada el tercer da si el primer

da estuvo ajustada.

P122 = P{ X 3 = 2 / X 1 = 1}
P122 = P11 * P12 + P12 * P22 = 0.21 + 0.12 = 0.33

d) Halle la probabilidad de que el tercer da este desajustada si el primer da estuvo

desajustada y el segundo da estuvo ajustada

P12 = P{ X 3 = 2 / X 1 = 2, X 2 = 1}
P12 = 0.3

e) Construya el diagrama de transiciones

86
 Cadenas de Markov

El diagrama de transiciones se observa en la figura 6.3

0.3

0.7
1 2 0.4

0.6

Figura 6.3

6.2.7 Matrices Estocsticas y Estocsticas Regulares

Una matriz cuadra P = (pij) es estocstica si cada una de sus filas es un vector de
probabilidad, esto es, si cada elemento de P es no negativo y la suma las componentes para
cada fila es 1.

Ejemplo 5: Identificacin de matrices estocsticas

Indique cual de las siguientes matrices se considera estocstica

0.5 0.3 0.2 0.8 0.4 0.2 0 1 0

0.1 0.7 0.4 0.1 0.6 0.3 0.1 0.5 0.4

0.2 0.7 0.1 0.3 0.3 0.4 0 0.5 0.5
A B C

a) No es una matriz estocstica porque la suma de las componentes de la segunda fila

no es igual a 1
b) No es una matriz estocstica porque la primera fila tiene una componente negativa
c) Es una matriz estocstica, puesto que cada fila es un vector de probabilidad.

Teorema 4.1 Si A y B son matrices estocsticas, entonces el producto AB es una matriz

estocstica. Por tanto, en particular, todas las potencias de An son matrices estocsticas.

Definicin: Una matriz estocstica P es regular si todos los elementos de alguna potencia
Pm son positivos.

Ejemplo 6: Determinar si la siguientes matrices son estocsticas regulares

1 1
2 2 1 0

A= B=
1 0 1 2

3 3

87
 Cadenas de Markov

0.75 0.25
A2 = por lo tanto A es una matriz estocstica Regular
0 .5 0.5

1 0
Bm = por lo tanto B no es una matriz estocstica regular
1 0

6.2.8 Puntos fijos de matrices cuadradas

Un vector no nulo u= (u1,u2, ..., un) es un punto fijo de una matriz cuadrada A si u
permanece fijo, esto es, no cambia cuando se multiplica por A.

uA=u

1 1
2 2
Ejemplo: Si tenemos la matriz A = entonces u=(3/8, 5/8) es un punto fijo de A
3 7
10 10
puesto que

1 1
2 2
( 3 , 5 ) = (3 , 5 )
8 8 3 7 8 8

10 10
6.2.9 Puntos fijos y matrices estocsticas regulares

La principal relacin entre las matrices estocsticas y regulares y los puntos fijos se
establece en el teorema siguiente.

Teorema 4.3 Sea P una matriz estocstica Regular, Entonces:

a) P tiene un vector de probabilidades fijo nico t, y las componentes de t son todas

positivas;
b) La sucesin P, P2, P3, ... de potencias de P se aproxima a la Matriz T, cuyas filas son
cada una el punto fijo t;
c) Si p es cualquier vector de probabilidad, entonces la sucesin de vectores pP, pP2,
pP3,... se aproxima al punto fijo t

88
 Cadenas de Markov

Ejemplo 7: Sea A una matriz estocstica Regular, halle el vector fijo nico u

Si u= (x,y,z) y

0 1 0

A = 0 0 1 sabemos que uA=u entonces:
1 1
0
2 2

0 1 0

( x , y , z ) 0 0 1 = ( x, y , z )
1 1
0
2 2

0x + 0y + z = x
1x + 0y + z = y
0x + 1y + 0z = z
x+y+z=1

x= 1/5, y= 2/5, z= 2/5

u=(1/5,2/5,2/5)

b) Halle la matriz A64 y compare los valores de cada fila con el vector fijo nico u
1 2 2
5 5 5
0 1 0
64 1 2 2
A = 0 0 1 A =
5 5 5
1 1
0 1 2 2
2 2
5 5 5

6.2.10 Matriz de Transicin

La matriz de transicin es una matriz estocstica en la cual se incorpora los estados actuales
y los estados en el tiempo t+1

Ejemplo 8: Una persona puede escoger entre conducir su automvil o tomar el metro para
ir a su trabajo cada da. Supongamos que la persona nunca toma el tren dos das seguidos;
pero si conduce hasta el trabajo, entonces al da siguiente puede manejar de nuevo o tomar
el tren. Construya la matriz de transicin.

89
 Cadenas de Markov

El espacio de estados del sistema es {m (metro), c (conducir)}

Este proceso estocstico es una cadena de Markov, puesto que el resultado de cualquier da
depende nicamente de lo que ha sucedido el da anterior. La matriz de transicin de la
cadena de Markov es:

Estado Futuro
m c
Estado
Actual
m 0 1
c 0.5 0.5

6.3 Ecuaciones de Chapman Kolmogorov

La probabilidad de transicin de n periodos (4.3) puede ser til cuando el proceso se

encuentra en el estado i y se desea la probabilidad de que el proceso se encuentre en el
estado j despus de n periodos. Las ecuaciones de Chapman Kolmogorov proporcionan
un mtodo para calcular estas propiedades de transicin de n pasos.

M
Pijn = Pikm * Pkj( m n ) para 0 m n
k =0

donde M representa el nmero de estados

6.4 Clasificacin de estados en una cadena de Markov

Partamos de la siguiente matriz de transicin y el diagrama de transiciones correspondiente

mostrados en las figuras 6.4 y 6.5 respectivamente.
.4 .6 0 0 0
.5 .5 0 0 0

P=0 0 .3 .7 0

0 0 .5 .4 .1
0 0 0 .8 .2

0.3
0.6 0.7

90
 Cadenas de Markov

0.4
0.5 3
1 2
0.5 0.4
0.5 4
0.1
Figura 6.4

0.2
5
0.8

Figura 6.5

Definicin: Dados dos estados i y j, la trayectoria de i a j es la sucesin de transiciones que

comienza en i y termina en j, de modo que cada transicin de la secuencia tenga
probabilidad positiva de presentarse.

La trayectoria de 3 a 5 es la sucesin de pasos de ir del estado 3 al estado 4, luego del

estado 4 al estado 5.

Definicin: Un estado j es alcanzable desde un estado i si hay una trayectoria que vaya de i
aj
El estado 5 es alcanzable desde el estado 3.

Definicin: se dice que dos estados i y j se comunican si j es alcanzable desde i e i es

alcanzable desde j

El estado 3 y el estado 5 se comunican.

Definicin: Un conjunto de estados S en una cadena de Markov es conjunto cerrado si

ningn estado fuera de S es alcanzable desde un estado S ver figura 6.6 y 6.7

91
 Cadenas de Markov

0.3
0.6 0.7
0.4
0.5 3
1 2
0.5 0.4
0.5 4
0.1

S1
Figura 6.6 0.2
5
0.8

S2
Figura 6.7
S1 y S2 son conjuntos cerrados.

Definicin: Un estado i es absorbente si Pii=1

Definicin: Un estado i es transitorio si hay un estado j alcanzable desde i, pero el estado i

no es alcanzable desde el estado j ver figura 6.8

0.4 0.6
1
1 2

Figura 6.8

El estado 1 es transitorio y el estado 2 es absorbente

Definicin: Si un estado no es transitorio se llama estado recurrente Ver figura 6.9

92
 Cadenas de Markov

4
2

5
3

Figura 6.9

Los estados 1, 2 y 4 son recurrentes

Definicin: Un estado i es peridico con periodo k>1 si k es el nmero mas pequeo tal
que las trayectorias que parten del estado i y regresan al estado i tienen una longitud
mltiplo de k. Si un estado recurrente no es peridico, se llama aperidico.

Ejemplo 9 Indique si el estado 1 del diagrama de transiciones de la figura 6.10 es peridico

1 2 3

Figura 6.10

Al comenzar con el estado 1 la trayectoria a seguir para retornar al estado 1 sera 1-2-3-1
por lo tanto k = 3. Esto es, si se parte del estado 1 para retornar al estado 1, se tendrn que
realizar pasos en cantidades que son mltiplos de 3.

Definicin: Si todos los estados en una cadena son recurrentes, aperidicos y se comunican
entre si, se dice que la cadena es ergdica (estocstica regular).

Ejemplo 10 Indique si la siguiente Cadenas de Markov es ergdica

93
 Cadenas de Markov

1 2 4 2 1
3 0 9
3 9 3

1 1 2 1 11 3
P= 0 -> P=
2 2 6 24 8

0 1 3 1 3 11
4 4 8 16 16

Como se haba indicado anteriormente, para verificar que la matriz es ergdica se puede
elevar la matriz a la potencia m y si se comprueba que desaparecen los ceros, se concluye
que la matriz es ergdica.

Otra forma, es hacer uso de la definicin y basndose en el diagrama de transiciones (ver

figura 6.11 )se puede identificar las caractersticas de los estados:

Primera caracterstica: todos los estados son recurrentes (para cada salida existe un
retorno)
Segunda caracterstica: todos los estados son aperidicos (Para el estado 1 y 3 k=1 y
para el estado 2 no existe un mltiplo mnimo k)
Tercera caracterstica : Todos los estados se comunican entre s (La cadena de Markov
es un solo conjunto cerrado y son recurrentes)

Al cumplir las tres caractersticas la cadena es ergdica.

Ejemplo 11 Indique si la siguiente Cadenas de Markov es ergdica

94
 Cadenas de Markov

1 1 1
0 2 3 6 0,237 0 0,763 0
0 0,373 0 0,627
1 0
1 1
0,237 0 0,763 0
2 4 4
P= -> P64 = 0 0,373 0 0,627
1 1
0
1
3 3 3
1 2 2
0
5 5 5

Como en la matriz, al elevarse a la potencia m no desaparecen los valores de 0, entonces se

concluye que la matriz no es ergdica.

Otra forma, es hacer uso de la definicin y basndose en el diagrama de transiciones (ver

figura 6.12 )se puede identificar las caractersticas de los estados:

Primera caracterstica: todos los estados son recurrentes (para cada salida existe un
retorno)
Segunda caracterstica: todos los estados son aperidicos (Para todos los estados existe
un periodo K>1 y es mltiplo de 2, por lo tanto todos los estados son peridicos con
periodo igual a 2)
Tercera caracterstica : Todos los estados se comunican entre s (La cadena de Markov
es un solo conjunto cerrado y son recurrentes)

Al no cumplir con alguna de las caractersticas, en este caso la segunda, se concluye que la
matriz no es ergdica

6.5 Probabilidad de primera ocurrencia

95
 Cadenas de Markov

Es la probabilidad de pasar del estado i al estado j en n transiciones sin pasar por el estado j
en una transicin intermedia. Esto es, la probabilidad de llegar al estado j por primera vez
en la transicin n.
n
La probabilidad de primera ocurrencia se representa por ( f ij )
pij si n = 1
M
f ijn = P * f n 1 si n 2
ik kj
k j
k =1

Desarrollando:

f ij1 = Pij1 Probabilidad de primera ocurrencia en una transicin

f ij2 = Pij2 f ij1 p1jj Probabilidad de primera ocurrencia en dos transiciones

f ijn = Pijn f ij1 p njj1 f ij2 p njj 2 ... f ijn 1 Pjj Probabilidad de primera ocurrencia en n transiciones

f ijn
Las probabilidades de primera ocurrencia en n transiciones cumplen la condicin de que

f
n =1
n
ij 1

Si la suma es estrictamente menor a 1 implica que un proceso que est inicialmente en el

estado i es posible que nunca llegue al estado j.
Si la suma es igual a 1 puede considerarse como una distribucin de probabilidad para la
variable aleatoria.

Si i=j y f iin = 1 entonces el estado i se conoce como estado recurrente. Un caso especial
i =1
de un estado recurrente es un estado absorbente.

Si i=j y f iin < 1 entonces el estado i se conoce como estado transitorio
i =1

6.6 Tiempos de primera ocurrencia

El tiempo de primera ocurrencia se denota por ij y es el nmero de transiciones esperadas

para ir del estado i al estado j por primera vez y se define mediante las expresones

96
 Cadenas de Markov

si

f
n =1
n
ij < 1
ij =
nf n
f n
ij si ij = 1
n =1 n =1

Siempre que f n =1
n
ij = 1 entonces ij , satisface de modo nico la ecuacin

M
ij = 1 + pik kj ij
K =1
k j

Cuado j=i, el tiempo esperado del primer paso se llama tiempo esperado de recurrencia y se
representa por:

1
ij = i=j
j

El resultado recurrente recibe el nombre de estado recurrente nulo si ij = , y se llama

estado recurrente positivo si ij < . En una cadena de Markov de estado finito no se tienen
estados recurrentes nulos (nicamente se tienen estados recurrentes positivos y estados
transitorios).

Ejemplo 12:
El mercado para un producto de 3 marcas diferentes cuenta con 1,000 clientes potenciales
distribuidos de la siguiente forma

Marca Clientes el 1ero Clientes que se cambiaron a Clientes 1ero.

De Mayo A B C de Junio

A 300 0 30 30 310

B 400 40 0 80 370

C 300 30 60 0 320

------- -------
1000 1000

a) Indique la matriz de transicin.

b) Construya el diagrama de transiciones.
c) Verifique si la matriz es ergdica.

97
 Cadenas de Markov

d) Cuntos clientes preferirn la marca B el 1ero. de julio?

e) A largo Plazo. Cuntos clientes no prefieren la marca C?
f) Cunto tarda un cliente que prefiere la marca A en cambiarse a la marca C?
e) Cuntos meses en promedio transcurrirn para que un cliente que dej la
marca A regrese?
f) Cul es la probabilidad de que un cliente que se encuentra el primero de
Mayo en B sea un nuevo cliente de C el primero de Julio?
a)
A B C
A 0.8 0.1 0.1
B 0.1 0.7 0.2
C 0.1 0.2 0.7

98
 Cadenas de Markov

b)

c) Como la matriz de transicin no contiene ceros, entonces es ergdica.

d) p(0)P = p(1)
p(1)P = p(2)

0.8 0.1 0.1

(300,400,300) 0.1 0.7 0.2 = (310,370,320)
0.1 0.2 0.7

0.8 0.1 0.1

(310,370,320) 0.1 0.7 0.2 = (317,354,319)
0.1 0.2 0.7

354 clientes preferirn la marca B el 1 de julio

e) P =

0.8 0.1 0.1

( 1 , 2 , 3 ) 0.1 0.7 0.2 = ( 1 , 2 , 3 )
0.1 0.2 0.7

1 1 1
1 = ; 2 = ; 3 =
3 3 3

a largo plazo 667 clientes no preferirn la marca C

99
 Cadenas de Markov

f) A,C = 1 + pi ,k k , j
k j

A,C = 1 + p AA AC + p AB BC + p AC CC

B ,C = 1 + p BA AC + p BB BC + p BC CC

A,C = 8; B ,C = 6
Un cliente que actualmente prefiere la marca A tardar 8 mese en preferir la marca
C

1
g) A, A =
A

1
A, A = = 3 meses
1
3

Un cliente que dej la marca A tardar tres meses en regresar

h) f B2,C = p BA p AC + p BB p BC

f B2,C = (0.1)(0.1) + (0.7)(0.2) = 0.15

La probabilidad de que un cliente que prefiere la marca B el 1ero de mayo prefiera

por primera vez la marca C el primero de julio es 0.15

6.7 Cadenas Absorbentes

Una cadena de Markov en la que uno o ms estados son estados absorbentes corresponde a
una cadena de Markov absorbente.

Muchas de las aplicaciones importantes de anlisis de Harkov tratan con situaciones donde
existen uno o ms estados absorbentes en el proceso y pueden identificarse por sus
cantidades en la matriz de transicin. En particular, el estado i es absorbente si Pii = 1.

Los estados absorbentes no permiten el clculo de probabilidades de estado estable.

En la presencia de estados absorbentes existen algunas cuestiones de inters involucrando

el comportamiento a largo plazo del proceso. Estas son:

100
 Cadenas de Markov

1.- Cul es el tiempo esperado que el proceso est en estado no absorbente antes de que
entre en uno no absorbente?
2.- Cul es el tiempo total antes de la absorcin para cada estado no absorbente?
3.- Cul es la probabilidad de absorcin partiendo de cada uno de los estados no
absorbentes?

Para dar respuesta a estas interrogantes, el primer paso es rearreglar los estados de tal
manera que los estados absorbentes estn agrupados en la parte superior izquierda de la
matriz de transicin; los estados restantes entonces se tendrn en cualquier orden.

Arreglando los estados de esta manera se proporciona la forma cannica en la figura 4.12.

I O
P =

A T
Figura 4.12

Donde I es una matriz identidad r X r para un total de r estados absorbentes; O es una

matriz de r X (n-r) con todos sus elementos igual a cero; A tiene dimensin (n-r) X r y
representa las transiciones de los estados no absorbentes a los estados absorbentes; y T
tiene dimensin (n-r) X (n-r) y representa las transiciones entre los estados no absorbentes.

Para cualquier cadena de Markov absorbente escrita en esta forma cannica se define una
matriz fundamental.

F=(I-T)-1

Donde F tiene una dimensin (n-r) X (n.r) y sus cantidades representan la media o nmero
esperado de veces que el proceso est en cada estado no absorbente antes de ser absorbido.

Ya que los renglones representan la absorcin del proceso de varios estados, la suma de
cada rengln de F representa el tiempo total esperado hasta la absorcin de cada uno de os
estados no absorbentes.

Otro punto de inters es la determinacin de cul estado absorbente capturar el proceso.

Estas probabilidades estn dadas por:

B=F x A

Donde F es la matriz fundamental y A es la matriz apropiada de la figura 4.12. La matriz B

tiene una dimensin de (n-r) x r, y cada columna corresponde a la absorcin de los estados
no absorbentes por un estado absorbente particular.

101
 Cadenas de Markov

Cada uno de los renglones de B representa la probabilidad de absorcin de un estado no

absorbente por cada uno de los estados absorbentes.

Ejemplo 13

Un modelo de Markov ha sido utilizado para estudiar los efectos de un tratamiento de

cncer. Se tienen los siguientes estudios:
A = Morir sin tratamiento
B = Estar bajo tratamiento
C = Estar sano
D = Morir estando bajo tratamiento

Estado Ao 2006 No. de personas que cambiaron a otro estado en un ao

A B C D
B 500 0 0 250 150
C 1000 100 100 0 0
TOTAL 1500

a) Construya la matriz de transicin

b) Construya el diagrama de transiciones.
c) Indique cules de los estados son: absorbentes, transitorios, recurrentes.
d) Cul es la probabilidad de que un paciente que esta bajo tratamiento no muera en los
siguientes dos aos?.
e) Cul es la probabilidad de que un paciente que est sano el ao 2006 este bajo
tratamiento el ao 2008
f) Cul es el tiempo de vida que tiene un paciente que esta bajo tratamiento?
g) Si un paciente esta sano, Cul es la probabilidad de que llegue a morir estando bajo
tratamiento?

a)
A B C D
A 1 0 0 0
B 0 0,2 0,5 0,3
C 0,1 0,1 0,8 0
D 0 0 0 1

102
 Cadenas de Markov

b)

c)
Estados Absorbentes A y D
Estados Transitorios B y C
Estados Recurrentes A y D

2 2
d) PBB + PBC
Utilizando las ecuaciones de Chapman Kolmogorov
po(0,1,0,0) x P = p1(0, 0.2, 0.5, 0.3)
p1(0, 0.2, 0.5, 0.3) x P = p2(0.05, 0.09, 0.5, 0.36)

Probabilidad es de 0.09+0.5 =0.59

2
e) PBC = 0.1

f)
Matriz en formato cannico

A D B C
A 1 0 0 0
D 0 1 0 0
B 0 0,3 0,2 0,5
C 0,1 0 0,1 0,8
La matriz fundamental es la siguiente F=(I-T)-1
B C
F= B 1,818 4,545 6,36
C 0,909 7,273 8,18
El tiempo de vida del paciente es de 6.36 aos
g)
A D
B=FxA B 0,455 0,545
C 0,727 0,273

Si un paciente esta sano, la probabilidad de que muera estando bajo tratamiento es 0.273

103
 Cadenas de Markov

EJERCICIOS PROPUESTOS

1.- Mario Jaldn es el distribuidor de Coca Cola en una provincia. Su gerente de almacn
inspecciona las cajas de gaseosas ( stos son los guacales de madera que almacenan 24
botellas) cada semana y los clasifica as A) recin construido esta semana, B) en buenas
condiciones, C) en condicin aceptable D) imposible de utilizar por daos. Si no es
posible usar una caja por dao, se enva al rea de reparacin, donde usualmente esta fuera
de uso por una semana. Los registros de la bodega de Mario indican que sta es la matriz
apropiada de probabilidades de transicin para sus cajas de gaseosas

Reconstruido Bueno Aceptable Daado

Reconstruido 0 0.8 0.2 0
Bueno 0 0.6 0.4 0
Aceptable 0 0 0.5 0.5
Daado 1 0 0 0

El contador de Mario le dice que le cuesta 2.50 Bs. reconstruir una caja, y la compaa
incurre en un costo de $1.85 Bs. por prdida de eficiencia de produccin cada vez que una
caja se encuentra que esta daada. sta prdida de eficiencia es porque las cajas rotas hacen
lento el proceso de cargar los camiones.

a) Calcule el costo total semanal esperado por la reconstruccin como por la prdida
de eficiencia de produccin.
Respuesta: Costo total semanal es 0.725 por caja.

b) Suponga que Mario desea considerar el construir cajas siempre que se inspeccione y
se encuentre que estn en condicin aceptable (Eliminando la posibilidad de que la
caja se dae). Construya la nueva matriz de transicin. Y calcule el costo total
semanal esperado con esta nueva matriz de transicin.
Respuesta: Costo total semanal = 0.625 por caja

2.- Industrias Unidad, un fabricante de ropa de dormir para mujer clasifica a sus operadores
de mquinas de coser en cuatro categoras, dependiendo de su productividad durante el mes
precedente; 1 es la categora mas baja y 4 es la categora mas alta. Histricamente, la fuerza
de trabajo de cosido se ha distribuido entre las cuatro categoras como sigue: 1=30%, 2=
35%, 3= 25%, 4= 10%. Hace siete meses, Industrias Unidas produjo un nuevo sistema
organizacional en su planta con 450 operadores. El nuevo sistema agrupa a los operadores
en unidades voluntarias de trabajo que no slo eligen a sus propios supervisores sino que
tambin determinan sus propios horarios de trabajo. Los registros de produccin
mantenidos desde que se adopt el nuevo plan le ha permitido a su gerente de planta,
construir esta matriz de probabilidades de transicin que ilustra los cambios mes a mes de
la productividad de sus empleados.

104
 Cadenas de Markov

Mas Baja 1 2 3 Mas alta 4

Mas baja 1 0.5 0.3 0.2 0
2 0.3 0.4 0.3 0
3 0.1 0.2 0.2 0.5
Mas alta 4 0.1 0.1 0.1 0.7

A su gerente le gustara saber qu esperar en el rea de distribucin de productividad de la

fuerza de trabajo como resultado del nuevo sistema organizacional.

Adems le gustara conocer el beneficio mensual a largo plazo de este sistema,

considerando que los operadores ganan un promedio de Bs. 700 al mes y las prdidas de
productividad para las cuatro categoras de empleados son 40%, 25%, 15% y 5%
respectivamente para las categoras 1, 2, 3 y 4.
Respuesta
Distribucin de productividad (0.247;0.24;0.192;0.32)
Beneficio mensual 14,616
3.- Suponga que las llantas radiales fueron lanzadas al mercado por tres compaas al
mismo tiempo. Cuando las introdujeron, cada firma tena una participacin igual de
mercado pero durante el primer ao tuvieron lugar los siguientes cambios de mercado.

La compaa A retuvo el 80% de sus clientes, perdi 5% de sus clientes con B y 15% con C.
La compaa B retuvo e 90% de sus clientes; perdi el 10% con A y ninguno con C
La compaa C retuvo el 60% de sus clientes; perdi el 20% con A y 20% con B

Suponga que el mercado no crecer y que los hbitos de compra no cambiarn.

A B C
A 0,8 0,05 0,15
B 0,1 0,9 0
C 0,2 0,2 0,6
a) Qu porcentaje de mercado es probable que retenga cada compaa al final del
prximo ao
Respuesta: A=0.37 B=0.38; C=0.25
b) A largo plazo Cul es el porcentaje de mercado para cada compaa?
Respuesta: A=0.381; B=0.476; C=0.143
c) Cul es la probabilidad de que un cliente de la compaa A sea un nuevo cliente de C
en 4 aos?
Respuesta: 0.078675
d) Cuantos aos, en promedio, pasarn para que un cliente de B se cambie a A?
Respuesta: 10 aos
e) Cuntos aos pasarn para que un cliente que dej la marca C regrese?
Respuesta: 7 aos
f) Cul es la probabilidad de que un cliente de B sea un cliente de C el quinto ao?
Respuesta: 0.071

105
 Cadenas de Markov

g) Si actualmente el cliente es de B. Cul es la probabilidad de que no sea cliente de B

durante los tres aos prximos?
Respuesta:0.088

4.- Una tienda vende cmaras fotogrficas y cada sbado ordena solo si tiene 0 cmaras en
inventario, en caso contrario no ordena, los pedidos se hacen por 3 cmaras, las cmaras
ordenadas estn disponibles el lunes por la maana. La demanda de las cmaras es Poisson
con media de 1 cmara /semana.

A) Obtenga la matriz de transicin

Respuesta: vector punto fijo nico de la matriz de transicin es:t
=(0.286;0.285;0.263;0.166)
B) Obtenga el diagrama de transiciones
C) Cul es la probabilidad de que la tienda tenga 2 cmaras al cabo de la tercera
semana si actualmente tiene una cmara?
Respuesta:0.275
D) Cul es la probabilidad de que por primera vez tenga 2 cmaras al final de la cuarta
semana si actualmente tiene 0 cmaras?
Respuesta:0.0872
E) Qu cantidad de cmaras, en promedio, se tendr en la tienda?
Respuesta: 1.309
F) Cuntas semanas transcurrirn para que la tienda se quede sin cmaras si
actualmente tiene 3?
Respuesta:3.5 semanas
G) Cuntas semanas transcurrirn para que la tienda tenga una cmara, si actualmente
dispone de una?
Respuesta:3.509

5.- Un proceso de produccin incluye una mquina que se deteriora con rapidez bajando
tanto en la calidad como en el rendimiento de su produccin bajo un uso pesado, de modo
que se inspecciona al final de cada da. Inmediatamente despus de la inspeccin, se
observa la condicin de la mquina y se clasifica en uno de los cuatro estados posibles:

Estado Condiciones

0 Buena como nueva

1 Operable(deterioro menor)
2 Operable (deterioro importante)
3 Inoperable(Produccin con calidad inaceptable)

106
 Cadenas de Markov

La matriz de transicin es la siguiente:

0 1 2 3

0 1/16 13/16 1/16 1/16

1 0 1/8 1/8
2 0 0 1/2 1/2
3 0 0 0 1

Obtener:

a) La probabilidad de que la mquina que est operable (deterioro menor),este inoperable a

los dos das.
Respuesta:0.28125
b)La probabilidad de que la mquina que est en buenas condiciones (como nueva) no este
inoperable en los siguientes dos das
Respuesta:0.7188
c)La probabilidad de que la mquina que est operable(deterioro menor) este operable en
tres das
Respuesta:0.571
d)La probabilidad de que la mquina que esta buena como nueva este operable (deterioro
importante) por primera vez en, 3 das.
Respuesta:0.0828
d)Cuntos das trascurrirn en promedio para que la mquina quede inoperable?
Respuesta: 5.33 das si la mquina est buena como nueva; 5 das si est operable con
deterioro menor; 2 das si esta operable con deterioro importante
e)Cul es la probabilidad de que la mquina que esta operable sea absorbida por la
inoperabilidad?
Respuesta : 1

6.- Hay dos fichas blancas en la urna A y 3 fichas rojas en la urna B. A Cada paso del
proceso se selecciona una ficha de cada una y se intercambian las dos fichas seleccionadas.
Sea Xn el nmero de fichas rojas en la urna A.
a) Encuentre la Matriz de transicin P.
Respuesta: El vector t de esta matriz de transicin es (0.1;0.6;0.3)
b) Construya el diagrama de transiciones.
c) Cul es la probabilidad de haya dos fichas rojas en la urna A luego de cuatro
pasos?
Respuesta:0.3056
d) A la larga Cul es la probabilidad de que haya dos fichas rojas en la urna A?
Respuesta:0.3
e) Cuntos pasos en promedio se requieren para que existan 2 fichas rojas en la urna
A?
Respuesta: 3 pasos

107
 Cadenas de Markov

f) Si actualmente, hay una ficha roja en la urna A Cul es la probabilidad para que
existan 2 fichas rojas, en esta urna, por primera vez en tres pasos?
Respuesta: 0.1389

7.- La clientela compra automviles en tres agencias. Dada la compaa a la que compr un
cliente la ltima vez, la probabilidad que compre la prxima vez es:

Comprar en
Compr en: Agencia 1 Agencia 2 Agencia 3

Agencia 1 0.80 0.10 0.10

Agencia 2 0.05 0.85 0.10
Agencia 3 0.10 0.20 0.70

a) Si alguien posee actualmente un automvil de la agencia 1 Cual es la probabilidad

de que al menos uno de los dos siguientes coches que compre sea de la agencia 1 ?.
Respuesta: 0.815
b) En la actualidad a la agencia 1 le cuesta 5,000 dlares en promedio cada automvil y
el precio que paga el cliente es de 8,000 dlares. La agencia 1 piensa instituir una
garanta de 5 aos. Estima que con ello se aumentar el costo en 300 dlares por
automvil, pero una investigacin de mercado indica que las probabilidades
cambiarn como sigue:
Comprar en
Compr en: Agencia 1 Agencia 2 Agencia 3
Agencia 1 0.85 0.10 0.05
Agencia 2 0.10 0.80 0.10
Agencia 3 0.15 0.10 0.75
Debe Instituir la garanta de 5 aos la agencia l?

Respuesta: Ganancia Instituyendo la garanta =1200(tamao de mkdo)

Ganancia No instituyendo la gar5anta= 750(Tamao de mkdo)

8.- En un juego de lanzamiento de monedas participan 3 personas. Cada jugador tiene

inicialmente dos monedas. Un jugador gana cuando la jugada es diferente a la de los dems,
empata cuando todos obtienen la misma jugada, pierde cuando otro jugador tiene la jugada
diferente a los otros dos. Un jugador se retira cuando no tiene monedas o ha ganado las
cuatro monedas

a) Construya la matriz de transicin

Respuesta:Xi=0,1,2,3,4,6; P(g)=1/4, P(p)=1/2,P(e)=1/4
b) Cul es la probabilidad de que un jugador tenga 1 moneda en la tercera jugada?
Respuesta:0.0938
c) Cul es la probabilidad de que el juego dure mas de tres jugadas?
Respuesta:0.15625
d) Cul es la probabilidad de que el juego acabe en la cuarta jugada?

108
 Cadenas de Markov

Respuesta:0.9492

9.- Un borracho camina por el pasillo que tiene un ancho de cinco baldosas. Comienza a
caminar en la baldosa central pero no puede mantener la lnea recta y se va a la izquierda o
la derecha con la misma probabilidad. Cuando llega a una baldosa que est junto a la pared
del lado izquierdo, se choca contra ella y esto hace que en el siguiente paso vaya a la
baldosa de al lado, pero si llega a la baldosa que esta en el extremo derecho el borracho
pierde el equilibrio y cae porque las baldosas de esa fila no estn bien colocadas.

a) Describir la posicin del borracho en el pasillo (nmero de la columna de la baldosa

que ocupa) mediante un proceso estocstico. Cules son los estados del proceso?. Es un
proceso de Markov?.
Respuesta: Xi=1,2,3,4,5 El proceso es estocstico y no tiene memoria de estado
b) Escribir la matriz de probabilidades de transicin.
c) Cul es la probabilidad de que el borracho no caiga hasta dar el 5to paso?
Respuesta:0.625
d)Cul es la probabilidad de que el borracho caiga en el tercer paso?
Respuesta:0.25
e)Cul es la probabilidad de que el borracho camine ms de tres pasos?
Respuesta:0.75
f)Cuntos pasos dar el borracho en promedio hasta que caiga?
Respuesta:12 pasos
g)Cul es la probabilidad de que el borracho caiga?
Respuesta: 1

109